Müfredat 246 dersinden 59. · Modül 4: Kendi autograd motorun
Modül 4: Kendi autograd motorun

Tek adımda softmax ve çapraz entropi

Neden önemli Softmax'ı exp, sum ve bölmeden kurabilirdin, ama sonuç daha yavaştır ve taşabilir. Her gerçek kütüphane softmax ve çapraz entropiyi, Modül 3'te türettiğin basit gradyanla tek bir işlemde birleştirir.

Birleştirilmiş bir işlem ileri geçişini tek seferde hesaplar (güvenlik için maksimum kaydırmasıyla) ve tek bir geri kuralı vardır: (softmax - onehot) / n, çarpı gelen gradyan. Bir ağ için relu da gerekir: gradyanı girdinin pozitif olduğu yerde geçir.

Özet Birleştirebildiğini birleştir; birleşik gradyan parçalarından daha basittir.

Bu dersteki kelimeler ve semboller
Tensor
burada: bir dizi artı gradyanı artı geldiği Tensor'lar
.grad
son kaybın bu Tensor'a göre gradyanı
unbroadcast
bir gradyanı esnetildiği şekle geri toplamak
Senin sıran

relu ve cross_entropy(labels) metotlarını (logitlerden oluşan bir (batch, classes) Tensor'u üzerinde, skaler bir Tensor döndüren) geri kurallarıyla birlikte yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.