Softmax ve çapraz entropi birlikte
Neden önemli Bu kurstaki her sınıflandırıcı softmax artı çapraz entropiyle biter. Birleşik gradyanları derin öğrenmenin en yararlı sonuçlarından biridir, ve kısadır.
Küçük sayılar
Logitler [2, 1, 0], softmax [0.665, 0.245, 0.090], doğru sınıf 0 (one-hot [1, 0, 0]). Kaybın logitlere göre gradyanı basitçe softmax eksi one-hot'tur: [-0.335, 0.245, 0.090]. Sözlerle: doğru sınıfın puanını ne kadar eksik kaldıysa o kadar yukarı it, ve diğer her puanı yanlışlıkla aldığı olasılık kadar aşağı it.
One-hot: doğru sınıfta tek bir 1 bulunan bir sıfırlar vektörü.
Bir batch için satırlar üzerinden ortalama al: (softmax(Z) - onehot) / n.
Özet Gradyan = tahmin eksi gerçek, yine.
Bu dersteki kelimeler ve semboller
- one-hot
- doğru sınıfta tek bir 1 bulunan sıfırlar
- gradyan kontrolü
- gradyan formülünü bir it-ve-ölç tahminiyle karşılaştırmak
Ortalama çapraz entropiyi ve onun Z'ye göre gradyanını (şekil (batch, classes)) döndüren loss_and_grad(Z, labels) yaz. Kararlı bir softmax kullan. Göndermeden önce gradyan denetleyicinle kendin kontrol et.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.