Müfredat 250 dersinden 92. · İlk Makine Öğrenmesi Modellerin
İlk Makine Öğrenmesi Modellerin

Doğruluğun Ötesi: Hassasiyet, Duyarlılık ve F1

Geçen derste tuzağı gördün: Eğer e-postaların %95'i spam değilse, her zaman "not spam" tahmin eden bir model 0.95 accuracy skoruna sahip olurken sıfır spam yakalar. Herhangi bir imbalanced probleminde accuracy yanıltıcıdır. Çözüm, confusion matrix ile modelin which kind hatalar yaptığını kontrol etmektir.

Evet/hayır sınıflandırıcısı için (etiket 1 = pozitif sınıf, örneğin "spam"), her tahmin dört kutudan birine düşer:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

Bu sayılardan üç tanesi dışarı çıkıyor ve bunlar gerçek ekiplerin raporladığı şeyler:

  • Precision = TP / (TP + FP). İşaretlediğin her şeyden ne kadarı doğruydu? Düşük hassasiyet = boş yere alarm vermek.
  • Recall = TP / (TP + FN). Yakalaman gereken her şeyden ne kadarını yakaladın? Düşük recall = gerçek vakaları kaçırmak demek.
  • F1 = 2 * P * R / (P + R), harmonik ortalama. Sadece HEM hassasiyet HEM DE geri çağırma yüksek olduğunda yüksek olan tek bir sayı, bu yüzden tembel tüm-negatif model (geri çağırma 0) F1 = 0 puanı alır ve deşifre olur.

Hassasiyet ve geri çağırma dengesi: her şeyi işaretle ve geri çağırma 1.0 olur ama hassasiyet çakılır; hiçbir şeyi işaretleme ve hassasiyet tanımsızdır ama hiçbir şeyi yakalayamazsın. F1 seni dürüst tutar. Bir payda sıfır olduğunda (hiçbir pozitif tahmin etmediğinde veya hiç pozitif yoksa), sıfıra bölmek yerine o metriği 0.0 olarak raporla.

İki fonksiyon oluştur. confusion(y_true, y_pred) iki eşit uzunluktaki 0/1 etiketli liste üzerinde (tp, fp, fn, tn) döndürür. prf(y_true, y_pred) bu sayılardan hesaplanan {"precision", "recall", "f1"} döndürür (sıfır paydada 0.0). Gizli testler sayılarını scikit-learn ile karşılaştırır, bu yüzden tanımlamalar kesin olmalı. Dengesiz bir sınıflandırıcıyı puanlamak için Run tuşuna bas.

Senin sıran

0/1 etiketlerinden (1 pozitif sınıf) oluşan eşit uzunlukta iki liste için (tp, fp, fn, tn) döndüren confusion(y_true, y_pred)'yi, ve kesinlik = TP/(TP+FP), duyarlılık = TP/(TP+FN) ve f1 = 2*P*R/(P+R) olmak üzere {"precision", "recall", "f1"} döndüren prf(y_true, y_pred)'yi yaz. Paydası sıfır olan her metrik için 0.0 döndür (asla sıfıra bölme). Sonuçların scikit-learn'e karşı çapraz kontrol edilir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.