Çapraz entropi kılık değiştirmiş olabilirliktir
Neden önemli Sınıflandırıcılar çapraz entropi adlı bir kayıpla eğitilir. Yeni gibi duruyor, ama iki ders önceki olabilirlik fikridir.
Küçük sayılar
Bir model 0, 1 ve 2 rakamlarının olasılıklarının [0.665, 0.245, 0.090] olduğunu söylüyor. Gerçek rakam 0. Model gerçeği ne kadar olası buldu? 0.665. En çok olabilirlik altında bu sayının büyük olmasını isteriz; bir kayıp olarak küçük bir şey isteriz, bu yüzden logaritmasının eksisini alırız: -log(0.665) = 0.408.
Gerçek rakam 2 olsaydı, kayıp -log(0.090) = 2.41 olurdu: model gerçeğe yalnızca %9 verdi, bu yüzden sert cezalandırılır. Mükemmel bir tahminin (olasılık 1) kaybı 0'dır.
Çapraz entropi kaybı: modelin doğru cevaba verdiği olasılığın logaritmasının eksisi, örnekler üzerinden ortalaması alınmış. Tam olarak negatif log-olabilirliktir.
Satır başına bir eleman seçmek
Bir batch ile her satır için o satırın doğru sütunundaki olasılığa ihtiyacın var. NumPy bunu aynı uzunlukta iki indeks dizisiyle yapar: probs[rows, cols], probs[rows[0], cols[0]], probs[rows[1], cols[1]] ve devamını seçer. probs = [[0.7, 0.3], [0.2, 0.8]] ve [0, 1] etiketleriyle probs[np.arange(2), labels] [0.7, 0.8] verir: 0. satır 0. sütun, sonra 1. satır 1. sütun. Buna süslü indeksleme denir.
Yararlı bir işaret noktası: 10 sınıf üzerinde eşit tahmin yapan bir model her birine 0.1 verir, yani kaybı -log(0.1) = 2.30'dur. Yeni bir sınıflandırıcı oralarda başlar.
Özet Kayıp = -log(gerçeğe verilen olasılık).
Bu dersteki kelimeler ve semboller
- olabilirlik
- gördüğün verinin modelin bir ayarı altında ne kadar olası olduğu
- çapraz entropi
- doğru cevaba verilen olasılığın logaritmasının eksisi
cross_entropy(probs, labels) yaz: probs olasılıklardan oluşan (batch, classes) dizisidir, labels her satırın doğru sınıfını tutar; -log(doğru sınıfın olasılığı) ortalamasını döndür. Döngü yok. Sonra uniform_10_loss değerini 10 sınıf üzerinde eşit bir tahminin kaybına ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.