Turun bukit (gradient descent manual)
Kenapa ini penting Memilih bobot secara manual tidak bisa digunakan untuk satu juta bobot. Gradient memberi tahu setiap bobot arah ke bawah secara bersamaan.
Name it
Untuk loss L = mean((X @ w + b - y) squared), geser w1 dan L berubah sebesar 2 * mean(error * x1), di mana error adalah prediksi dikurangi nilai asli. Itu adalah turunan L terhadap w1. Semuanya sekaligus: grad_w = 2 * X.T @ error / n, dan grad_b = 2 * mean(error).
Baca dengan kata-kata sederhana
Jika prediksi terlalu tinggi (error positif) pada rumah dengan ukuran besar, maka menurunkan w1 membantu, dan gradien untuk w1 bernilai positif, jadi kita menguranginya. Setiap langkah: w = w - lr * grad_w, di mana lr, learning rate, menentukan ukuran langkah.
Gradient descent: ulangi "hitung gradient, ambil langkah kecil melawannya". Learning rate: ukuran setiap langkah.
Tebak Kurvanya
Sebelum kamu menjalankan pelatihanmu, tebak nilai loss pada langkah 0, 10, 50 dan 200 di my_guess. Kode akan mencetak tebakanmu di samping nilai aslinya.
Ringkasan Gradient, langkah melawannya, ulangi.
Kata dan simbol di pelajaran ini
- bobot (w, W), bias (b)
- angka yang dipelajari neuron; bias menggeser outputnya
- laju pembelajaran (lr)
- seberapa besar setiap langkah pelatihan
Tulis gradients(X, y, w, b) yang mengembalikan (grad_w, grad_b), dan train(X, y, lr, steps) mulai dari nol dan mengembalikan (w, b, losses), di mana losses menyimpan loss sebelum setiap langkah. Isi my_guess dulu. Loss yang dilatih harus berakhir di bawah 0.01 dengan lr 0.5 dan 201 langkah yang diminta starter.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.