Müfredat 246 dersinden 35. · Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar
Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar

Çapraz entropi kılık değiştirmiş olabilirliktir

Neden önemli Sınıflandırıcılar çapraz entropi adlı bir kayıpla eğitilir. Yeni gibi duruyor, ama iki ders önceki olabilirlik fikridir.

Küçük sayılar

Bir model 0, 1 ve 2 rakamlarının olasılıklarının [0.665, 0.245, 0.090] olduğunu söylüyor. Gerçek rakam 0. Model gerçeği ne kadar olası buldu? 0.665. En çok olabilirlik altında bu sayının büyük olmasını isteriz; bir kayıp olarak küçük bir şey isteriz, bu yüzden logaritmasının eksisini alırız: -log(0.665) = 0.408.

Gerçek rakam 2 olsaydı, kayıp -log(0.090) = 2.41 olurdu: model gerçeğe yalnızca %9 verdi, bu yüzden sert cezalandırılır. Mükemmel bir tahminin (olasılık 1) kaybı 0'dır.

Çapraz entropi kaybı: modelin doğru cevaba verdiği olasılığın logaritmasının eksisi, örnekler üzerinden ortalaması alınmış. Tam olarak negatif log-olabilirliktir.

Satır başına bir eleman seçmek

Bir batch ile her satır için o satırın doğru sütunundaki olasılığa ihtiyacın var. NumPy bunu aynı uzunlukta iki indeks dizisiyle yapar: probs[rows, cols], probs[rows[0], cols[0]], probs[rows[1], cols[1]] ve devamını seçer. probs = [[0.7, 0.3], [0.2, 0.8]] ve [0, 1] etiketleriyle probs[np.arange(2), labels] [0.7, 0.8] verir: 0. satır 0. sütun, sonra 1. satır 1. sütun. Buna süslü indeksleme denir.

Yararlı bir işaret noktası: 10 sınıf üzerinde eşit tahmin yapan bir model her birine 0.1 verir, yani kaybı -log(0.1) = 2.30'dur. Yeni bir sınıflandırıcı oralarda başlar.

Özet Kayıp = -log(gerçeğe verilen olasılık).

Bu dersteki kelimeler ve semboller
olabilirlik
gördüğün verinin modelin bir ayarı altında ne kadar olası olduğu
çapraz entropi
doğru cevaba verilen olasılığın logaritmasının eksisi
Senin sıran

cross_entropy(probs, labels) yaz: probs olasılıklardan oluşan (batch, classes) dizisidir, labels her satırın doğru sınıfını tutar; -log(doğru sınıfın olasılığı) ortalamasını döndür. Döngü yok. Sonra uniform_10_loss değerini 10 sınıf üzerinde eşit bir tahminin kaybına ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.