Terlalu kecil, terlalu besar: menghilang dan meledak
Kenapa ini penting Sinyal yang hilang berarti setiap gradient hampir nol dan pelatihan terhenti. Sinyal yang meledak berarti overflow dan nan. Keduanya berasal dari bobot awal.
Lihat sendiri
Mainkan animasinya: tumpukan 20 lapis yang sama dimulai dengan tiga cara. Terlalu kecil, dan sinyalnya memudar lapis demi lapis sampai habis. Terlalu besar, dan itu berlipat ganda terus sampai meluap. Pas, dan itu tetap stabil sampai selesai. Gradien saat kembali mengalami nasib yang sama.
Vanishing: aktivasi atau gradien mengecil menuju nol melalui lapisan. Exploding: tumbuh tanpa batas.
Kata dan simbol di pelajaran ini
- menghilang, meledak
- sinyal atau gradien mengecil hingga habis atau membesar tanpa batas melalui lapisan
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
Gunakan spreads dari pelajaran terakhir (disediakan), tulis verdict(scale) yang mengembalikan "vanish" jika spread akhir di bawah 1e-3, "explode" jika di atas 1e3, jika tidak "ok". Lalu isi my_predictions untuk skala 0.05, 0.14 dan 0.5 sebelum dijalankan.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.