Silabus Pelajaran 84 dari 246 · Modul 6: Bobot awal dan normalisasi
Modul 6: Bobot awal dan normalisasi

Jalan pintas (residual connections)

Kenapa ini penting Residual connections adalah alasan kenapa jaringan dengan ratusan lapisan bisa dilatih. Setiap blok transformer menggunakannya.

lapisan biasa menggantikan inputnya: h = f(h). Sebuah residual block menambahkannya: h = h + f(h). Jika f tidak mempelajari hal berguna, blok tersebut hanya meneruskan h tanpa perubahan, jadi kedalaman ekstra tidak akan pernah memperburuk keadaan di awal. Dan saat kembali, gradien punya rute langsung di sepanjang jalur "+ h", melewati lapisan sepenuhnya, jadi ia tidak bisa menghilang.

Peringatan jujur tentang eksperimen di bawah: kedua jaringan mulai dari bobot kecil yang sengaja dibuat, N(0, 0.1). Awal itu yang membuat jaringan biasa tenggelam. Dengan bobot awal He dari bagian awal modul ini, jaringan 30-layer biasa juga terlatih (5 dari 6 seed dalam jalannya kursus). Apa yang ditambahkan shortcut adalah ketahanan: mereka terlatih bahkan dari awal yang buruk, dan mereka tetap bekerja pada kedalaman di mana bobot awal yang hati-hati saja tidak lagi cukup.

Di sini kontribusi setiap blok juga diskalakan oleh 1 / depth, trik umum supaya 30 penjumlahan tidak merusak sinyal.

Residual connection (atau skip connection, shortcut): menambahkan input blok ke outputnya.

Tebak Kurvanya: tebak loss akhir setelah 150 langkah untuk network biasa dan untuk yang dengan shortcuts. (Loss 0.693 berarti lempar koin pada tugas dua kelas ini.)

Kata dan simbol di pelajaran ini
Xavier, LeCun, He
memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
koneksi residual
menambahkan input blok ke outputnya: h + f(h)
Giliranku

Isi my_guess. Lalu tulis block(h, W, b, shortcuts, depth): tanpa jalan pintas kembalikan relu(h @ W + b); dengan jalan pintas kembalikan h + relu(h @ W + b) * (1 / depth). Tesnya melatih kedua jaringan 30 lapis dari bobot awal kecil yang sama.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.