Forward Pass Dua Lapis
Satu neuron adalah sebuah garis. Tumpuk layer dari mereka, tambahkan nonlinearity, lalu masukkan itu ke lapisan lain, dan jaringan bisa melengkung untuk menyesuaikan hampir apa pun. Menjalankan data melalui lapisan untuk mendapatkan output disebut forward pass.
LayerA hanyalah perkalian matriks: setiap kolom dari matriks weight adalah weight dari satu neuron. Dengan numpy, seluruh layer adalah x @ W + b (operator @ adalah perkalian matriks).
Di antara lapisan kita menerapkan aktivasi nonlinear. Jaringan modern lebih menyukai ReLU (Rectified Linear Unit), yang sederhananya adalah max(0, z): simpan nilai positif, nolkan nilai negatif. Tanpa nonlinearitas, menumpuk lapisan akan kembali menjadi satu baris saja.
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layerKenapa kita melakukan ini di numpy di sini
Framework asli untuk ini adalah TensorFlow dan PyTorch. Mereka tidak bisa jalan di pelajaran ini: Pyodide adalah CPython yang dikompilasi ke WebAssembly di browsermu, dan library tersebut membawa kode native C++ dan CUDA/GPU yang berat yang tidak punya build WebAssembly. Jadi kita dapat intuition dengan beberapa baris numpy, yang mana itu adalah apa yang terjadi pada forward pass di balik layar. Framework menambahkan autograd, GPU, dan skala, bukan ide baru tentang langkah ini.
Perhatikan bentuknya: input panjang-3 melalui matriks bobot 3x4 menghasilkan 4 nilai tersembunyi; melalui matriks 4x1 yang menjadi satu output tunggal.
Selesaikan forward pass. Tulis relu(z) dengan np.maximum, lalu hitung hidden layer h = relu(x @ W1 + b1) dan output out = h @ W2 + b2 menggunakan weights yang tersedia.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.