%80 emin olmak zamanın %80'inde haklı olmak mı demek?
Neden önemli Bir modelin güveni ancak dürüstse yararlıdır. "%90 eminim" deyip yarı yarıya haklı çıkan bir doktor asistanı tehlikelidir.
Bir model, yaklaşık %80 güvenle yaptığı tahminlerin yaklaşık %80'i doğruysa kalibre edilmiştir. Kontrol etmek için: tahminleri güvene göre kutulara ayır (0 ile 0.1, 0.1 ile 0.2 ve böyle devam); her kutuda ortalama güveni gerçek doğrulukla karşılaştır. Birini diğerine karşı çizmek bir güvenilirlik diyagramıdır; mükemmel kalibrasyon köşegendir.
Beklenen kalibrasyon hatası (ECE), her kutudaki farkı, içine düşen tahmin sayısıyla ağırlıklandırarak toplar: sum over bins of (count / total) * |accuracy - confidence|.
Küçük sayılar
0.9 güvenle dört tahmin, 2'si doğru: o kutunun farkı |0.5 - 0.9| = 0.4. Bunlar bütün tahminlerse ECE = 0.4.
Bu dersteki kelimeler ve semboller
- kalibrasyon, ECE
- güvenin doğrulukla eşleşip eşleşmediği; ağırlıklı ortalama fark
0'dan 1'e eşit genişlikte kutularla ece(confidence, correct, bins=10) yaz (tam 1.0'lık bir güven en üst kutuya gider; boş kutuları atla).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.