Silabus Pelajaran 61 dari 246 · Modul 4: Mesin autograd buatanmu sendiri
Modul 4: Mesin autograd buatanmu sendiri

Lapisan yang menyimpan bobotnya sendiri

Kenapa ini penting Jaringan nyata punya banyak lapisan. Setiap lapisan harus memiliki bobotnya sendiri dan bisa menampilkan daftar bobot tersebut, jadi kode pelatihan tidak perlu tahu apa yang ada di dalamnya.

A Linear menyimpan W dan b sebagai Tensors dan menghitung x @ W + b. Sebuah MLP menyimpan daftar Linear layers dengan ReLU di antaranya. Keduanya menawarkan parameters(), daftar Tensors bobot mereka.

Kenapa nolkan gradient

adds ke setiap grad. Itu benar dalam satu pass, tapi di antara langkah, gradien lama masih ada di sana. Lupa menghapusnya dan setiap langkah menggunakan jumlah dari semua gradien sebelumnya: pelatihan melayang lalu meledak. Jadi setiap langkah adalah: nolkan grads, forward, backward, step.

Parameter: bobot yang diubah oleh pelatihan. zero_grad: mengatur ulang grad setiap parameter ke nol sebelum backward berikutnya.

Mulai bobot dengan spread sqrt(2 / inputs), yang menjaga sinyal tetap dalam ukuran wajar melalui lapisan ReLU. Modul 6 menjelaskan alasannya.

Kata dan simbol di pelajaran ini
Tensor
here: sebuah array ditambah gradiennya ditambah Tensor asalnya
unbroadcast
meringradien balik ke bentuk asalnya
zero_grad
reset gradien sebelum langkah berikutnya, karena backward menambahkannya
Giliranku

Tulis Linear, MLP, zero_grad(params) dan sgd_step(params, lr) seperti yang dijelaskan. MLP([64, 32, 10], rng) membuat dua Linear layer dengan ReLU di antaranya dan tidak ada setelah yang terakhir.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.