Mundur untuk add dan multiply
Kenapa ini penting Dengan dua aturan dan urutan ini, engine kamu sudah bisa membedakan rumus apa pun yang terdiri dari penjumlahan dan perkalian.
Setiap operasi melampirkan fungsi kecil, _backward, ke Tensor yang dibuatnya. Saat dipanggil, ia membaca out.grad dan menambahkan bagiannya ke grad setiap parent:
- Untuk
out = a + b: a mendapatout.grad, b mendapatout.grad. - Untuk
out = a * b: a mendapatout.grad * b.data, b mendapatout.grad * a.data.
Selalu add ke grad orang tua (gaya +=), jangan timpa: node yang dipakai dua kali harus mengumpulkan kedua kontribusi. Lalu backward() mengatur grad node akhir ke 1 dan memanggil setiap _backward dalam urutan topologi terbalik.
(Helper unbroadcast yang diimpor di bagian atas menangani bentuk yang ditarik oleh broadcasting. Kamu akan menulis versimu sendiri dalam dua pelajaran; untuk sekarang, bungkus setiap kontribusi di dalamnya.)
Kata dan simbol di pelajaran ini
- Tensor
- here: sebuah array ditambah gradiennya ditambah Tensor asalnya
- urutan topologi
- setiap node yang terdaftar setelah node yang menjadi dependensinya
- .grad
- gradien dari loss akhir terhadap Tensor ini
- unbroadcast
- meringradien balik ke bentuk asalnya
Isi dua fungsi _backward dan metode backward. Tes gradien tersembunyi menggunakan rumus yang mencampur + dan *, termasuk node yang digunakan dua kali.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.