Müfredat 246 dersinden 107. · Modül 9: Gerçekten daha mı iyi?
Modül 9: Gerçekten daha mı iyi?

%80 emin olmak zamanın %80'inde haklı olmak mı demek?

Neden önemli Bir modelin güveni ancak dürüstse yararlıdır. "%90 eminim" deyip yarı yarıya haklı çıkan bir doktor asistanı tehlikelidir.

Bir model, yaklaşık %80 güvenle yaptığı tahminlerin yaklaşık %80'i doğruysa kalibre edilmiştir. Kontrol etmek için: tahminleri güvene göre kutulara ayır (0 ile 0.1, 0.1 ile 0.2 ve böyle devam); her kutuda ortalama güveni gerçek doğrulukla karşılaştır. Birini diğerine karşı çizmek bir güvenilirlik diyagramıdır; mükemmel kalibrasyon köşegendir.

Beklenen kalibrasyon hatası (ECE), her kutudaki farkı, içine düşen tahmin sayısıyla ağırlıklandırarak toplar: sum over bins of (count / total) * |accuracy - confidence|.

Küçük sayılar

0.9 güvenle dört tahmin, 2'si doğru: o kutunun farkı |0.5 - 0.9| = 0.4. Bunlar bütün tahminlerse ECE = 0.4.

Bu dersteki kelimeler ve semboller
kalibrasyon, ECE
güvenin doğrulukla eşleşip eşleşmediği; ağırlıklı ortalama fark
Senin sıran

0'dan 1'e eşit genişlikte kutularla ece(confidence, correct, bins=10) yaz (tam 1.0'lık bir güven en üst kutuya gider; boş kutuları atla).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.