Skala yang menjaga sinyal tetap stabil (Xavier dan He)
Kenapa ini penting Ada jawaban pasti untuk "seberapa besar bobot awal harus dibuat". Gunakan itu dan jaringan deep menjadi bisa dilatih.
Angka kecil
Satu output dari sebuah layer adalah jumlah dari n_in hasil perkalian input dan bobot. Jika input punya sebaran 1 dan bobot punya sebaran s, jumlah dari n_in suku tersebut punya sebaran s kali sqrt(n_in) (varians bertambah: Modul 2, "How spread adds up"). Untuk menjaganya di angka 1, pilih s = 1 / sqrt(n_in). Itu adalah LeCun initialisation. Xavier (juga disebut Glorot) initialisation juga menjaga gradien tetap stabil saat kembali, yang bergantung pada n_out, jadi ini membagi selisihnya: s = sqrt(2 / (n_in + n_out)). Saat n_in sama dengan n_out, keduanya sama. Keduanya cocok untuk tanh.
ReLU membuang bagian negatif, yang membagi dua rata-rata ukuran kuadrat. Kompensasi dengan dua kali varians: s = sqrt(2 / n_in). Itu adalah inisialisasi He, yang tepat untuk ReLU. Dengan lebar 100, He memberikan sqrt(0.02) = 0.141: tepat skala "ok" dari pelajaran terakhir.
Ringkasan tanh: Xavier, sqrt(2 / (n_in + n_out)), atau LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Kata dan simbol di pelajaran ini
- inisialisasi
- bagaimana bobot diatur sebelum pelatihan dimulai
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
Tulis xavier(n_in, n_out, rng) dan he(n_in, n_out, rng) yang mengembalikan matriks bobot. Dengan bobot He, penyebaran aktivasi setelah 20 lapisan ReLU dengan lebar 256 harus tetap di antara 0.2 dan 5.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.