Silabus Pelajaran 55 dari 246 · Modul 4: Mesin autograd buatanmu sendiri
Modul 4: Mesin autograd buatanmu sendiri

Mundur untuk add dan multiply

Kenapa ini penting Dengan dua aturan dan urutan ini, engine kamu sudah bisa membedakan rumus apa pun yang terdiri dari penjumlahan dan perkalian.

Setiap operasi melampirkan fungsi kecil, _backward, ke Tensor yang dibuatnya. Saat dipanggil, ia membaca out.grad dan menambahkan bagiannya ke grad setiap parent:

  • Untuk out = a + b: a mendapat out.grad, b mendapat out.grad.
  • Untuk out = a * b: a mendapat out.grad * b.data, b mendapat out.grad * a.data.

Selalu add ke grad orang tua (gaya +=), jangan timpa: node yang dipakai dua kali harus mengumpulkan kedua kontribusi. Lalu backward() mengatur grad node akhir ke 1 dan memanggil setiap _backward dalam urutan topologi terbalik.

(Helper unbroadcast yang diimpor di bagian atas menangani bentuk yang ditarik oleh broadcasting. Kamu akan menulis versimu sendiri dalam dua pelajaran; untuk sekarang, bungkus setiap kontribusi di dalamnya.)

Kata dan simbol di pelajaran ini
Tensor
here: sebuah array ditambah gradiennya ditambah Tensor asalnya
urutan topologi
setiap node yang terdaftar setelah node yang menjadi dependensinya
.grad
gradien dari loss akhir terhadap Tensor ini
unbroadcast
meringradien balik ke bentuk asalnya
Giliranku

Isi dua fungsi _backward dan metode backward. Tes gradien tersembunyi menggunakan rumus yang mencampur + dan *, termasuk node yang digunakan dua kali.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.