Müfredat 246 dersinden 47. · Modül 3: Nörondan MLP'ye
Modül 3: Nörondan MLP'ye

Softmax ve çapraz entropi birlikte

Neden önemli Bu kurstaki her sınıflandırıcı softmax artı çapraz entropiyle biter. Birleşik gradyanları derin öğrenmenin en yararlı sonuçlarından biridir, ve kısadır.

Küçük sayılar

Logitler [2, 1, 0], softmax [0.665, 0.245, 0.090], doğru sınıf 0 (one-hot [1, 0, 0]). Kaybın logitlere göre gradyanı basitçe softmax eksi one-hot'tur: [-0.335, 0.245, 0.090]. Sözlerle: doğru sınıfın puanını ne kadar eksik kaldıysa o kadar yukarı it, ve diğer her puanı yanlışlıkla aldığı olasılık kadar aşağı it.

One-hot: doğru sınıfta tek bir 1 bulunan bir sıfırlar vektörü.

Bir batch için satırlar üzerinden ortalama al: (softmax(Z) - onehot) / n.

Özet Gradyan = tahmin eksi gerçek, yine.

Bu dersteki kelimeler ve semboller
one-hot
doğru sınıfta tek bir 1 bulunan sıfırlar
gradyan kontrolü
gradyan formülünü bir it-ve-ölç tahminiyle karşılaştırmak
Senin sıran

Ortalama çapraz entropiyi ve onun Z'ye göre gradyanını (şekil (batch, classes)) döndüren loss_and_grad(Z, labels) yaz. Kararlı bir softmax kullan. Göndermeden önce gradyan denetleyicinle kendin kontrol et.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.