Silabus Pelajaran 40 dari 246 · Modul 3: Neuron ke MLP
Modul 3: Neuron ke MLP

Turun bukit (gradient descent manual)

Kenapa ini penting Memilih bobot secara manual tidak bisa digunakan untuk satu juta bobot. Gradient memberi tahu setiap bobot arah ke bawah secara bersamaan.

Beri nama

Name it

Untuk loss L = mean((X @ w + b - y) squared), geser w1 dan L berubah sebesar 2 * mean(error * x1), di mana error adalah prediksi dikurangi nilai asli. Itu adalah turunan L terhadap w1. Semuanya sekaligus: grad_w = 2 * X.T @ error / n, dan grad_b = 2 * mean(error).

Baca dengan kata-kata sederhana

Jika prediksi terlalu tinggi (error positif) pada rumah dengan ukuran besar, maka menurunkan w1 membantu, dan gradien untuk w1 bernilai positif, jadi kita menguranginya. Setiap langkah: w = w - lr * grad_w, di mana lr, learning rate, menentukan ukuran langkah.

Gradient descent: ulangi "hitung gradient, ambil langkah kecil melawannya". Learning rate: ukuran setiap langkah.

Tebak Kurvanya

Sebelum kamu menjalankan pelatihanmu, tebak nilai loss pada langkah 0, 10, 50 dan 200 di my_guess. Kode akan mencetak tebakanmu di samping nilai aslinya.

Ringkasan Gradient, langkah melawannya, ulangi.

Kata dan simbol di pelajaran ini
bobot (w, W), bias (b)
angka yang dipelajari neuron; bias menggeser outputnya
laju pembelajaran (lr)
seberapa besar setiap langkah pelatihan
Giliranku

Tulis gradients(X, y, w, b) yang mengembalikan (grad_w, grad_b), dan train(X, y, lr, steps) mulai dari nol dan mengembalikan (w, b, losses), di mana losses menyimpan loss sebelum setiap langkah. Isi my_guess dulu. Loss yang dilatih harus berakhir di bawah 0.01 dengan lr 0.5 dan 201 langkah yang diminta starter.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.