Müfredat 246 dersinden 36. · Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar
Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar

Softmax'ın gradyanı, ve kaybın onu neden gizlediği

Neden önemli Softmax, gradyanına tek başına ihtiyaç duyulan attention'ın içinde durur. Çapraz entropiyle birleşince çok basit bir şeye dönüşür, ve nedenini bilmek basit sürüme güvenmeni sağlar.

Tam gradyan

p = softmax(z) için her çıktı her puana bağlıdır. zj'yi itmek, i = j olduğunda pi'yi pi (1 - pi) çarpı itme kadar, i j olmadığında - pi pj kadar hareket ettirir: bir puanı yükseltmek olasılığı diğer hepsinden çeker. Tek bir tablo olarak (Jacobian): diag(p) - p pT.

Geri geçiş o tabloyu asla kurmaz. g = dL/dp verildiğinde, z'ye göre gradyan öğe öğe p * (g - (g · p))'dir: her pi çarpı kendi g'sinin g'nin olasılık ağırlıklı ortalamasını ne kadar geçtiği.

Küçük sayılar

p = [0.5, 0.3, 0.2] ve g = [1, 0, 0]. O zaman g · p = 0.5, ve dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Elemanların toplamı 0'dır: her puana aynı miktarı eklemek hiçbir şeyi değiştirmez.

Çapraz entropi onu neden basitleştirir

L = -log py ile g doğru sınıfta -1 / py, başka yerlerde 0'dır. Bunu p * (g - (g · p)) içine koy, p - onehot(y) olur: Modül 3'ün kullandığı formül. Basit biçim bir kestirme değil, bu aynı gradyandır.

Özet Softmax geri geçişi: p * (g - g · p). Üstünde çapraz entropiyle: p - onehot.

Bu dersteki kelimeler ve semboller
softmax
her puanın exp değeri bölü toplam: puanlar olasılığa dönüşür
çapraz entropi
doğru cevaba verilen olasılığın logaritmasının eksisi
Senin sıran

softmax_jacobian(z) (1B bir puan dizisi girer, (n, n) tablo çıkar) ve 2B diziler için (örnek başına bir satır) tabloyu kurmadan satır satır p * (g - (g · p)) kullanan softmax_backward(z, g) yaz. Gizli test ikisini de itmeye karşı kontrol eder ve çapraz entropinin g'siyle cevabın p - onehot olduğunu kontrol eder.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.