Aktivasi: lekukan di antara lapisan
Kenapa ini penting Tanpa lekukan di antara lapisan, sepuluh lapisan tidak lebih pintar dari satu. Pilihan lekukan juga menentukan apakah gradient bisa mengalir.
Tiga aktivasi yang akan kamu temui di mana saja:
- ReLU: max(0, z). Murah, dan kemiringannya tepat 1 untuk input positif, jadi gradien lewat tanpa diredam. Kemiringan 0 untuk negatif.
- tanh: menekan ke -1 sampai 1, berpusat di 0. Kemiringan 1 di 0 tapi hampir 0 untuk input besar: ini saturates.
- GELU: ReLU halus yang digunakan dalam transformer, kira-kira z kali sigmoid(1.702 z).
Mengapa kemiringan itu penting
Backpropagation mengalikan dengan kemiringan setiap aktivasi. Kemiringan mendekati 0 (tanh yang jenuh, atau ReLU pada input negatif) menghalangi gradien. Kamu akan melihat itu menyebabkan kegagalan pelatihan yang nyata di Module 6.
Saturate: untuk duduk di bagian datar dari kurva, di mana kemiringannya, dan kemiringan di dalamnya, hampir nol.
Ringkasan Sebuah aktivasi melengkung; kemiringannya menentukan seberapa banyak gradien mengalir kembali.
Kata dan simbol di pelajaran ini
- sigmoid
- 1 / (1 + exp(-z)): mengubah angka apa pun menjadi 0 sampai 1
- ReLU
- max(0, z): menyimpan positif, mengubah negatif jadi nol
- backpropagation
- aturan rantai dijalankan mundur untuk mendapatkan gradien setiap bobot
Tulis setiap aktivasi dan kemiringannya: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, semua di dalam array. Gunakan pendekatan GELU z * sigmoid(1.702 z). Kemiringannya butuh dua aturan bersamaan: aturan produk (kemiringan u × v adalah u' × v + u × v') dan aturan rantai di dalam sigmoid (kemiringan sigmoid(1.702 z) adalah 1.702 × s(1 - s), dengan s = sigmoid(1.702 z)). Untuk kemiringan ReLU tepat di 0, gunakan 0. Tes tersembunyi memeriksa setiap kemiringan terhadap sedikit perubahan.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.