Tek adımda softmax ve çapraz entropi
Neden önemli Softmax'ı exp, sum ve bölmeden kurabilirdin, ama sonuç daha yavaştır ve taşabilir. Her gerçek kütüphane softmax ve çapraz entropiyi, Modül 3'te türettiğin basit gradyanla tek bir işlemde birleştirir.
Birleştirilmiş bir işlem ileri geçişini tek seferde hesaplar (güvenlik için maksimum kaydırmasıyla) ve tek bir geri kuralı vardır: (softmax - onehot) / n, çarpı gelen gradyan. Bir ağ için relu da gerekir: gradyanı girdinin pozitif olduğu yerde geçir.
Özet Birleştirebildiğini birleştir; birleşik gradyan parçalarından daha basittir.
Bu dersteki kelimeler ve semboller
- Tensor
- burada: bir dizi artı gradyanı artı geldiği Tensor'lar
- .grad
- son kaybın bu Tensor'a göre gradyanı
- unbroadcast
- bir gradyanı esnetildiği şekle geri toplamak
relu ve cross_entropy(labels) metotlarını (logitlerden oluşan bir (batch, classes) Tensor'u üzerinde, skaler bir Tensor döndüren) geri kurallarıyla birlikte yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.