Softmax'ın gradyanı, ve kaybın onu neden gizlediği
Neden önemli Softmax, gradyanına tek başına ihtiyaç duyulan attention'ın içinde durur. Çapraz entropiyle birleşince çok basit bir şeye dönüşür, ve nedenini bilmek basit sürüme güvenmeni sağlar.
Tam gradyan
p = softmax(z) için her çıktı her puana bağlıdır. zj'yi itmek, i = j olduğunda pi'yi pi (1 - pi) çarpı itme kadar, i j olmadığında - pi pj kadar hareket ettirir: bir puanı yükseltmek olasılığı diğer hepsinden çeker. Tek bir tablo olarak (Jacobian): diag(p) - p pT.
Geri geçiş o tabloyu asla kurmaz. g = dL/dp verildiğinde, z'ye göre gradyan öğe öğe p * (g - (g · p))'dir: her pi çarpı kendi g'sinin g'nin olasılık ağırlıklı ortalamasını ne kadar geçtiği.
Küçük sayılar
p = [0.5, 0.3, 0.2] ve g = [1, 0, 0]. O zaman g · p = 0.5, ve dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Elemanların toplamı 0'dır: her puana aynı miktarı eklemek hiçbir şeyi değiştirmez.
Çapraz entropi onu neden basitleştirir
L = -log py ile g doğru sınıfta -1 / py, başka yerlerde 0'dır. Bunu p * (g - (g · p)) içine koy, p - onehot(y) olur: Modül 3'ün kullandığı formül. Basit biçim bir kestirme değil, bu aynı gradyandır.
Özet Softmax geri geçişi: p * (g - g · p). Üstünde çapraz entropiyle: p - onehot.
Bu dersteki kelimeler ve semboller
- softmax
- her puanın exp değeri bölü toplam: puanlar olasılığa dönüşür
- çapraz entropi
- doğru cevaba verilen olasılığın logaritmasının eksisi
softmax_jacobian(z) (1B bir puan dizisi girer, (n, n) tablo çıkar) ve 2B diziler için (örnek başına bir satır) tabloyu kurmadan satır satır p * (g - (g · p)) kullanan softmax_backward(z, g) yaz. Gizli test ikisini de itmeye karşı kontrol eder ve çapraz entropinin g'siyle cevabın p - onehot olduğunu kontrol eder.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.