Mencatat graf dan mengurutkannya
Kenapa ini penting Backward harus mengunjungi setiap box hanya setelah setiap box yang bergantung padanya. Salah urutan ini akan memberikan gradient yang salah secara diam diam.
Lihat sendiri
Gambar x digunakan dua kali: a = x * 2, b = x * 3, L = a + b. Ini adalah diamond. Mundur dari L, kita harus menyelesaikan a dan b sebelum menangani x, karena gradient x adalah jumlah dari apa yang kembali melalui keduanya.
Solusinya adalah dengan mendaftarkan node dalam urutan topologis: setiap node setelah semua induknya. Kemudian jalan mundur dan telusuri daftar itu secara terbalik. Pencarian depth-first membuat daftar tersebut: kunjungi induk node terlebih dahulu, lalu tambahkan node, dan lewati node yang sudah dilihat.
Topological order: urutan graf di mana setiap node muncul setelah node yang menjadi dependensinya.
Kata dan simbol di pelajaran ini
- Tensor
- here: sebuah array ditambah gradiennya ditambah Tensor asalnya
- order topologi
- setiap node yang terdaftar setelah node yang menjadi dependensinya
- .grad
- gradien dari loss akhir terhadap Tensor ini
- unbroadcast
- meringradien kembali ke bentuk asalnya sebelum ditarik
Tulis metode topo: kembalikan setiap node self yang bergantung padanya (termasuk dirinya sendiri), masing-masing setelah semua induknya, tanpa duplikat.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.