Silabus Pelajaran 76 dari 246 · Modul 6: Bobot awal dan normalisasi
Modul 6: Bobot awal dan normalisasi

Terlalu kecil, terlalu besar: menghilang dan meledak

Kenapa ini penting Sinyal yang hilang berarti setiap gradient hampir nol dan pelatihan terhenti. Sinyal yang meledak berarti overflow dan nan. Keduanya berasal dari bobot awal.

Lihat sendiri

Mainkan animasinya: tumpukan 20 lapis yang sama dimulai dengan tiga cara. Terlalu kecil, dan sinyalnya memudar lapis demi lapis sampai habis. Terlalu besar, dan itu berlipat ganda terus sampai meluap. Pas, dan itu tetap stabil sampai selesai. Gradien saat kembali mengalami nasib yang sama.

Vanishing: aktivasi atau gradien mengecil menuju nol melalui lapisan. Exploding: tumbuh tanpa batas.

Kata dan simbol di pelajaran ini
menghilang, meledak
sinyal atau gradien mengecil hingga habis atau membesar tanpa batas melalui lapisan
Xavier, LeCun, He
memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
Giliranku

Gunakan spreads dari pelajaran terakhir (disediakan), tulis verdict(scale) yang mengembalikan "vanish" jika spread akhir di bawah 1e-3, "explode" jika di atas 1e3, jika tidak "ok". Lalu isi my_predictions untuk skala 0.05, 0.14 dan 0.5 sebelum dijalankan.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.