Silabus Pelajaran 36 dari 246 · Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Gradien dari softmax, dan kenapa loss menyembunyikannya

Kenapa ini penting Softmax ada di dalam attention, di mana gradiennya dibutuhkan secara mandiri. Jika digabung dengan cross-entropy, ia menjadi sesuatu yang sangat sederhana, dan tahu alasannya adalah apa yang membuatmu bisa mempercayai versi sederhana tersebut.

Gradient lengkap

Untuk p = softmax(z), setiap output bergantung pada setiap skor. Menggeser zj menggeser pi sebesar pi (1 - pi) kali geseran saat i = j, dan sebesar - pi pj saat i bukan j: menaikkan satu skor menarik probabilitas menjauh dari semua yang lain. Seperti satu tabel (Jacobian): diag(p) - p pT.

Backward tidak pernah membangun tabel itu. Mengingat g = dL/dp, gradien terhadap z adalah p * (g - (g · p)), item demi item: setiap pi kali seberapa besar g miliknya mengalahkan rata-rata tertimbang probabilitas dari g.

Angka kecil

p = [0.5, 0.3, 0.2] dan g = [1, 0, 0]. Lalu g · p = 0.5, dan dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Jumlah entri adalah 0: menambah jumlah yang sama ke setiap skor tidak mengubah apa pun.

Kenapa cross-entropy membuatnya sederhana

Dengan L = -log py, g adalah -1 / py pada kelas yang benar dan 0 di tempat lain. Masukkan itu ke p * (g - (g · p)) dan hasilnya menjadi p - onehot(y): rumus yang digunakan di Module 3. Bentuk sederhananya adalah gradien yang sama ini, bukan jalan pintas.

Ringkasan Softmax backward: p * (g - g · p). Dengan cross-entropy di atasnya: p - onehot.

Kata dan simbol di pelajaran ini
softmax
exp dari setiap skor dibagi total: skor menjadi probabilitas
cross-entropy
kurangi log dari probabilitas yang diberikan ke jawaban yang benar
Giliranku

Tulis softmax_jacobian(z) (input array 1D berisi skor, output tabel (n, n)) dan softmax_backward(z, g) untuk array 2D (satu baris per contoh), menggunakan p * (g - (g * p)) baris demi baris, tanpa membangun tabel. Tes tersembunyi memeriksa keduanya terhadap nudging dan memeriksa bahwa dengan g dari cross-entropy jawabannya adalah p - onehot.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.