Gradien dari softmax, dan kenapa loss menyembunyikannya
Kenapa ini penting Softmax ada di dalam attention, di mana gradiennya dibutuhkan secara mandiri. Jika digabung dengan cross-entropy, ia menjadi sesuatu yang sangat sederhana, dan tahu alasannya adalah apa yang membuatmu bisa mempercayai versi sederhana tersebut.
Gradient lengkap
Untuk p = softmax(z), setiap output bergantung pada setiap skor. Menggeser zj menggeser pi sebesar pi (1 - pi) kali geseran saat i = j, dan sebesar - pi pj saat i bukan j: menaikkan satu skor menarik probabilitas menjauh dari semua yang lain. Seperti satu tabel (Jacobian): diag(p) - p pT.
Backward tidak pernah membangun tabel itu. Mengingat g = dL/dp, gradien terhadap z adalah p * (g - (g · p)), item demi item: setiap pi kali seberapa besar g miliknya mengalahkan rata-rata tertimbang probabilitas dari g.
Angka kecil
p = [0.5, 0.3, 0.2] dan g = [1, 0, 0]. Lalu g · p = 0.5, dan dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Jumlah entri adalah 0: menambah jumlah yang sama ke setiap skor tidak mengubah apa pun.
Kenapa cross-entropy membuatnya sederhana
Dengan L = -log py, g adalah -1 / py pada kelas yang benar dan 0 di tempat lain. Masukkan itu ke p * (g - (g · p)) dan hasilnya menjadi p - onehot(y): rumus yang digunakan di Module 3. Bentuk sederhananya adalah gradien yang sama ini, bukan jalan pintas.
Ringkasan Softmax backward: p * (g - g · p). Dengan cross-entropy di atasnya: p - onehot.
Kata dan simbol di pelajaran ini
- softmax
- exp dari setiap skor dibagi total: skor menjadi probabilitas
- cross-entropy
- kurangi log dari probabilitas yang diberikan ke jawaban yang benar
Tulis softmax_jacobian(z) (input array 1D berisi skor, output tabel (n, n)) dan softmax_backward(z, g) untuk array 2D (satu baris per contoh), menggunakan p * (g - (g * p)) baris demi baris, tanpa membangun tabel. Tes tersembunyi memeriksa keduanya terhadap nudging dan memeriksa bahwa dengan g dari cross-entropy jawabannya adalah p - onehot.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.