Sinyal melalui 20 lapisan
Kenapa ini penting Sebelum jaringan yang dalam mempelajari apa pun, sinyal harus bisa bertahan melewati setiap lapisan. Sering kali tidak bisa, dan tidak ada optimiser yang bisa memperbaikinya.
Masukkan sekumpulan input acak melalui 20 lapisan h = relu(h @ W), dengan setiap weight diambil dari distribusi normal dengan spread tertentu. Setelah setiap lapisan, ukur spread (standard deviation) dari aktivasi.
Angka kecil
Setiap lapisan mengalikan ukuran tipikal sinyal dengan faktor yang kira-kira sama. Jika faktor itu 0.5, setelah 20 lapisan sinyalnya menjadi 0.5 pangkat 20: sekitar satu per sejuta. Jika itu 2, ukurannya sekitar satu juta kali lebih besar. Hanya faktor di dekat 1 yang bertahan.
Ringkasan Depth mengubah perubahan kecil per-layer menjadi sangat besar.
Kata dan simbol di pelajaran ini
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
Tulis spreads(scale, depth=20, width=100, seed=0): mulai dari h = rng.standard_normal((256, width)), lalu untuk setiap layer gambar W = rng.normal(0, scale, (width, width)) dan atur h = relu(h @ W). Kembalikan daftar h.std() setelah setiap layer.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.