Lapisan yang menyimpan bobotnya sendiri
Kenapa ini penting Jaringan nyata punya banyak lapisan. Setiap lapisan harus memiliki bobotnya sendiri dan bisa menampilkan daftar bobot tersebut, jadi kode pelatihan tidak perlu tahu apa yang ada di dalamnya.
A Linear menyimpan W dan b sebagai Tensors dan menghitung x @ W + b. Sebuah MLP menyimpan daftar Linear layers dengan ReLU di antaranya. Keduanya menawarkan parameters(), daftar Tensors bobot mereka.
Kenapa nolkan gradient
adds ke setiap grad. Itu benar dalam satu pass, tapi di antara langkah, gradien lama masih ada di sana. Lupa menghapusnya dan setiap langkah menggunakan jumlah dari semua gradien sebelumnya: pelatihan melayang lalu meledak. Jadi setiap langkah adalah: nolkan grads, forward, backward, step.
Parameter: bobot yang diubah oleh pelatihan. zero_grad: mengatur ulang grad setiap parameter ke nol sebelum backward berikutnya.
Mulai bobot dengan spread sqrt(2 / inputs), yang menjaga sinyal tetap dalam ukuran wajar melalui lapisan ReLU. Modul 6 menjelaskan alasannya.
Kata dan simbol di pelajaran ini
- Tensor
- here: sebuah array ditambah gradiennya ditambah Tensor asalnya
- unbroadcast
- meringradien balik ke bentuk asalnya
- zero_grad
- reset gradien sebelum langkah berikutnya, karena backward menambahkannya
Tulis Linear, MLP, zero_grad(params) dan sgd_step(params, lr) seperti yang dijelaskan. MLP([64, 32, 10], rng) membuat dua Linear layer dengan ReLU di antaranya dan tidak ada setelah yang terakhir.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.