Reddetme Kalibrasyonu: Aşırı vs. Az Reddetme
Saldırıları engellemek güvenliğin sadece yarısıdır. Diğer yarısı aşırı engelleme yapmamaktır. Her hafif acı soruyu reddeden bir model güvenli ama işe yaramazdır, bu da tost yaparken çalan bir duman alarmının güvenlik karşılığıdır. Her iki hata modunu da aynı etiketli küme üzerinde ölçmeli ve aralarındaki çizgiyi ayarlamalısın.
Her biri uygulamanın should ne yapması gerektiğini belirten bir dizi istem al. "refuse" (gerçekten zararlı) veya "answer" (zararsız). Korumacın her istem için bir risk score üretir ve skor bir threshold geçtiğinde reddedersin. İki hata oluşabilir:
- Aşırı reddetme (yanlış pozitif): cevaplaman gereken bir istemi reddettin. Sinir bozucu, kullanıcıları kaçırır.
- Reddış_red (yanlış negatif): reddetmen gereken bir isteme cevap verdin. Tehlikeli, başlık riski.
"refuse"'i pozitif sınıf olarak kabul ettiğimizde, standart metrikler tüm hikayeyi anlatıyor:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)Düşük hassasiyet, çok fazla zararsız istemi reddettiğin anlamına gelir. Düşük geri çağırma, zararlı istemlerin sızıp geçtiği anlamına gelir. Eşiği değiştirdikçe bunlar arasında denge değişir: agresif reddet ve geri çağırma yükselirken hassasiyet düşer; temkinli reddet ve tam tersi olur. refusal_metrics(scores, labels, threshold) ve ardından aday eşikleri tarayıp en yüksek F1 değerini döndüren best_threshold(scores, labels, candidates) yazacaksın, bu tek sayı her iki hatanın da kontrolden çıkmasına izin vermez.
Testlerin kontrol ettiği iki doğruluk detayı. score >= threshold olduğunda reddet (eşittir durumu da reddedilir). Bir metriğin paydası sıfır olduğunda (hiçbir şeyi reddetmedin, bu yüzden kesinlik tanımsızdır) çökmek yerine 0.0 döndür. Metriklerin zero_division=0 ile birlikte scikit-learn'in precision_score, recall_score ve f1_score değerleriyle uyumlu olmalı, çünkü test edilen kütüphane ile uyuşmayan kendi yazdığın metrikleri asla sunmamalısın.
labels'ın "refuse"/"answer" olduğu ve score >= threshold olduğunda reddetmeyi tahmin ettiğin refusal_metrics(scores, labels, threshold) yaz. "refuse"'u pozitif say ve her biri 4 basamağa round edilmiş, paydası sıfır olan her metrik için 0.0 olan {"precision", "recall", "f1"} döndür (zero_division=0 ile sklearn'e uymalı). Sonra en yüksek F1'e sahip adayı döndüren (eşitlikte en düşük eşik kazanır) best_threshold(scores, labels, candidates) yaz, ve best = best_threshold(SCORES, LABELS, CANDIDATES) ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.