Silabus Pelajaran 77 dari 246 · Modul 6: Bobot awal dan normalisasi
Modul 6: Bobot awal dan normalisasi

Skala yang menjaga sinyal tetap stabil (Xavier dan He)

Kenapa ini penting Ada jawaban pasti untuk "seberapa besar bobot awal harus dibuat". Gunakan itu dan jaringan deep menjadi bisa dilatih.

Angka kecil

Satu output dari sebuah layer adalah jumlah dari n_in hasil perkalian input dan bobot. Jika input punya sebaran 1 dan bobot punya sebaran s, jumlah dari n_in suku tersebut punya sebaran s kali sqrt(n_in) (varians bertambah: Modul 2, "How spread adds up"). Untuk menjaganya di angka 1, pilih s = 1 / sqrt(n_in). Itu adalah LeCun initialisation. Xavier (juga disebut Glorot) initialisation juga menjaga gradien tetap stabil saat kembali, yang bergantung pada n_out, jadi ini membagi selisihnya: s = sqrt(2 / (n_in + n_out)). Saat n_in sama dengan n_out, keduanya sama. Keduanya cocok untuk tanh.

ReLU membuang bagian negatif, yang membagi dua rata-rata ukuran kuadrat. Kompensasi dengan dua kali varians: s = sqrt(2 / n_in). Itu adalah inisialisasi He, yang tepat untuk ReLU. Dengan lebar 100, He memberikan sqrt(0.02) = 0.141: tepat skala "ok" dari pelajaran terakhir.

Ringkasan tanh: Xavier, sqrt(2 / (n_in + n_out)), atau LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

Kata dan simbol di pelajaran ini
inisialisasi
bagaimana bobot diatur sebelum pelatihan dimulai
Xavier, LeCun, He
memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
Giliranku

Tulis xavier(n_in, n_out, rng) dan he(n_in, n_out, rng) yang mengembalikan matriks bobot. Dengan bobot He, penyebaran aktivasi setelah 20 lapisan ReLU dengan lebar 256 harus tetap di antara 0.2 dan 5.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.