Jalan pintas (residual connections)
Kenapa ini penting Residual connections adalah alasan kenapa jaringan dengan ratusan lapisan bisa dilatih. Setiap blok transformer menggunakannya.
lapisan biasa menggantikan inputnya: h = f(h). Sebuah residual block menambahkannya: h = h + f(h). Jika f tidak mempelajari hal berguna, blok tersebut hanya meneruskan h tanpa perubahan, jadi kedalaman ekstra tidak akan pernah memperburuk keadaan di awal. Dan saat kembali, gradien punya rute langsung di sepanjang jalur "+ h", melewati lapisan sepenuhnya, jadi ia tidak bisa menghilang.
Peringatan jujur tentang eksperimen di bawah: kedua jaringan mulai dari bobot kecil yang sengaja dibuat, N(0, 0.1). Awal itu yang membuat jaringan biasa tenggelam. Dengan bobot awal He dari bagian awal modul ini, jaringan 30-layer biasa juga terlatih (5 dari 6 seed dalam jalannya kursus). Apa yang ditambahkan shortcut adalah ketahanan: mereka terlatih bahkan dari awal yang buruk, dan mereka tetap bekerja pada kedalaman di mana bobot awal yang hati-hati saja tidak lagi cukup.
Di sini kontribusi setiap blok juga diskalakan oleh 1 / depth, trik umum supaya 30 penjumlahan tidak merusak sinyal.
Residual connection (atau skip connection, shortcut): menambahkan input blok ke outputnya.
Tebak Kurvanya: tebak loss akhir setelah 150 langkah untuk network biasa dan untuk yang dengan shortcuts. (Loss 0.693 berarti lempar koin pada tugas dua kelas ini.)
Kata dan simbol di pelajaran ini
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
- koneksi residual
- menambahkan input blok ke outputnya: h + f(h)
Isi my_guess. Lalu tulis block(h, W, b, shortcuts, depth): tanpa jalan pintas kembalikan relu(h @ W + b); dengan jalan pintas kembalikan h + relu(h @ W + b) * (1 / depth). Tesnya melatih kedua jaringan 30 lapis dari bobot awal kecil yang sama.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.