Doğruluğun Ötesi: Hassasiyet, Duyarlılık ve F1
Geçen derste tuzağı gördün: Eğer e-postaların %95'i spam değilse, her zaman "not spam" tahmin eden bir model 0.95 accuracy skoruna sahip olurken sıfır spam yakalar. Herhangi bir imbalanced probleminde accuracy yanıltıcıdır. Çözüm, confusion matrix ile modelin which kind hatalar yaptığını kontrol etmektir.
Evet/hayır sınıflandırıcısı için (etiket 1 = pozitif sınıf, örneğin "spam"), her tahmin dört kutudan birine düşer:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)Bu sayılardan üç tanesi dışarı çıkıyor ve bunlar gerçek ekiplerin raporladığı şeyler:
- Precision =
TP / (TP + FP). İşaretlediğin her şeyden ne kadarı doğruydu? Düşük hassasiyet = boş yere alarm vermek. - Recall =
TP / (TP + FN). Yakalaman gereken her şeyden ne kadarını yakaladın? Düşük recall = gerçek vakaları kaçırmak demek. - F1 =
2 * P * R / (P + R), harmonik ortalama. Sadece HEM hassasiyet HEM DE geri çağırma yüksek olduğunda yüksek olan tek bir sayı, bu yüzden tembel tüm-negatif model (geri çağırma 0) F1 = 0 puanı alır ve deşifre olur.
Hassasiyet ve geri çağırma dengesi: her şeyi işaretle ve geri çağırma 1.0 olur ama hassasiyet çakılır; hiçbir şeyi işaretleme ve hassasiyet tanımsızdır ama hiçbir şeyi yakalayamazsın. F1 seni dürüst tutar. Bir payda sıfır olduğunda (hiçbir pozitif tahmin etmediğinde veya hiç pozitif yoksa), sıfıra bölmek yerine o metriği 0.0 olarak raporla.
İki fonksiyon oluştur. confusion(y_true, y_pred) iki eşit uzunluktaki 0/1 etiketli liste üzerinde (tp, fp, fn, tn) döndürür. prf(y_true, y_pred) bu sayılardan hesaplanan {"precision", "recall", "f1"} döndürür (sıfır paydada 0.0). Gizli testler sayılarını scikit-learn ile karşılaştırır, bu yüzden tanımlamalar kesin olmalı. Dengesiz bir sınıflandırıcıyı puanlamak için Run tuşuna bas.
0/1 etiketlerinden (1 pozitif sınıf) oluşan eşit uzunlukta iki liste için (tp, fp, fn, tn) döndüren confusion(y_true, y_pred)'yi, ve kesinlik = TP/(TP+FP), duyarlılık = TP/(TP+FN) ve f1 = 2*P*R/(P+R) olmak üzere {"precision", "recall", "f1"} döndüren prf(y_true, y_pred)'yi yaz. Paydası sıfır olan her metrik için 0.0 döndür (asla sıfıra bölme). Sonuçların scikit-learn'e karşı çapraz kontrol edilir.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.