Sınıflandırma için Doğruluk vs Hassasiyet/Duyarlılık/F1
LLM işlerinin büyük bir kısmı aslında classification: bu bileti yönlendir, bu duyguyu etiketle, bu mesajı spam olarak işaretle. Bunlar için sadece doğruluk oranı bir tuzaktır. %95'i ham olan bir posta kutusu için spam filtresi oluştur ve everything %95 doğruluk puanı alırken sıfır spam yakalayan bir model kur. Rakam harika görünüyor; ürün ise işe yaramaz. Bunu görmek için, gerçekten önemsediğin sınıf için ayrıştırılmış precision, recall ve F1 değerlerine ihtiyacın var.
Bir pozitif sınıfı (örneğin spam) seç ve dört kova say:
- TP doğru pozitifler: spam olarak tahmin edildi, spam idi.
- FP yanlış pozitifler: tahmin edilen spam, aslında ham idi (gereksiz kutusuna gönderilen iyi bir e-posta).
- FN yanlış negatifler: tahmin edilen ham, spam idi (sızan spam).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsBunlar farklı yönlere çekiyor. Agresif bayraklama yaparsan recall artarken precision düşer; muhafazakar bayraklama yaparsan tam tersi olur. F1, her ikisinin de çökmesine izin vermeyen tek sayıdır. Dengesiz bir kümede, accuracy ve F1 birbirinden çok uzaklaşır, ki bunları ayrı ayrı hesaplamanın asıl amacı da budur.
Bunları elinle uygulayacaksın çünkü formülleri mülakatlar için ezbere bilmeye değer. Ama test edilmiş bir kütüphane varken asla ship el yapımı metrikler göndermemelisin, bu yüzden testler senin sayılarını scikit-learn'nin precision_score, recall_score ve f1_score değerleriyle karşılaştırıyor. Eğer sklearn ile eşleşiyorsa, onu doğru uyguladın demektir.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")Ne yapacağımız şey. classification_metrics(y_true, y_pred, positive_label) bir dict döndüren {"accuracy", "precision", "recall", "f1"}, her biri rounded 4 yere. Sıfır paydalı durumları (tahmin edilen pozitif yok, gerçek pozitif yok) sıfıra bölmek yerine o metrik için 0.0 döndürerek koru. Rapor yazdırmak ve dengesiz bir kümede accuracy ve F1 tutarsızlığını izlemek için Run tuşuna bas.
Seçilen pozitif sınıf için {'accuracy', 'precision', 'recall', 'f1'} döndüren classification_metrics(y_true, y_pred, positive_label) yaz. Her round değerini 4 basamağa yuvarla. TP/FP/FN değerlerini positive_label karşısında say; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = harmonik ortalama, accuracy = doğru/toplam. Paydası sıfır olan herhangi bir metrik için 0.0 döndür. Sayıların scikit-learn'ün precision_score/recall_score/f1_score değerleriyle eşleşmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.