Silabus Pelajaran 54 dari 246 · Modul 4: Mesin autograd buatanmu sendiri
Modul 4: Mesin autograd buatanmu sendiri

Mencatat graf dan mengurutkannya

Kenapa ini penting Backward harus mengunjungi setiap box hanya setelah setiap box yang bergantung padanya. Salah urutan ini akan memberikan gradient yang salah secara diam diam.

Lihat sendiri

Gambar x digunakan dua kali: a = x * 2, b = x * 3, L = a + b. Ini adalah diamond. Mundur dari L, kita harus menyelesaikan a dan b sebelum menangani x, karena gradient x adalah jumlah dari apa yang kembali melalui keduanya.

Solusinya adalah dengan mendaftarkan node dalam urutan topologis: setiap node setelah semua induknya. Kemudian jalan mundur dan telusuri daftar itu secara terbalik. Pencarian depth-first membuat daftar tersebut: kunjungi induk node terlebih dahulu, lalu tambahkan node, dan lewati node yang sudah dilihat.

Topological order: urutan graf di mana setiap node muncul setelah node yang menjadi dependensinya.

Kata dan simbol di pelajaran ini
Tensor
here: sebuah array ditambah gradiennya ditambah Tensor asalnya
order topologi
setiap node yang terdaftar setelah node yang menjadi dependensinya
.grad
gradien dari loss akhir terhadap Tensor ini
unbroadcast
meringradien kembali ke bentuk asalnya sebelum ditarik
Giliranku

Tulis metode topo: kembalikan setiap node self yang bergantung padanya (termasuk dirinya sendiri), masing-masing setelah semua induknya, tanpa duplikat.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.