Kalibrasi Penolakan: Terlalu Banyak vs Terlalu Sedikit Penolakan
Memblokir serangan cuma setengah dari keamanan. Setengah lainnya adalah tidak memblokir secara berlebihan. Model yang menolak setiap pertanyaan yang sedikit pedas itu aman tapi tidak berguna, sama seperti alarm asap yang bunyi saat kamu bikin roti panggang. Kamu perlu mengukur kedua mode kegagalan pada set berlabel yang sama dan mengatur garis di antara keduanya.
Ambil sekumpulan prompt yang masing-masing diberi label tentang apa yang harus dilakukan oleh aplikasi should: "refuse" (benar-benar berbahaya) atau "answer" (tidak berbahaya). Guard kamu menghasilkan risk score per prompt, dan kamu menolak saat skor melewati threshold. Dua kesalahan bisa terjadi:
- Over-refusal (false positive): kamu menolak prompt yang seharusnya kamu jawab. Menyebalkan, membuat pengguna pergi.
- Under-refusal (false negative): kamu menjawab prompt yang seharusnya kamu tolak. Berbahaya, risiko utama.
Menganggap "refuse" sebagai kelas positif, metrik standar menjelaskan semuanya:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)Presisi rendah berarti kamu terlalu banyak menolak (banyak prompt aman yang kamu tolak). Recall rendah berarti kamu kurang menolak (prompt berbahaya lolos). Keduanya saling berlawanan saat kamu mengubah ambang batas: menolak secara agresif dan recall naik sementara presisi turun; menolak secara konservatif dan sebaliknya. Kamu akan menulis refusal_metrics(scores, labels, threshold) dan kemudian best_threshold(scores, labels, candidates) yang menyisir ambang batas kandidat dan mengembalikan yang memiliki F1 tertinggi, angka tunggal yang mencegah kedua kesalahan tersebut melonjak.
Dua detail kebenaran yang diperiksa tes. Tolak saat score >= threshold (lebih besar atau sama dengan, jadi skor tepat di garis ditolak). Dan saat penyebut metrik nol (kamu tidak menolak apa pun, jadi presisi tidak terdefinisi) kembalikan 0.0 daripada error. Metrik kamu harus sesuai dengan precision_score, recall_score, dan f1_score dari scikit-learn dengan zero_division=0, karena kamu tidak boleh mengirim metrik buatan sendiri yang tidak sesuai dengan pustaka yang diuji.
Tulis refusal_metrics(scores, labels, threshold) di mana labels adalah "refuse"/"answer" dan kamu memprediksi refuse saat score >= threshold. Anggap "refuse" sebagai positif dan kembalikan {"precision", "recall", "f1"}, masing-masing rounded ke 4 tempat, dengan 0.0 untuk metrik penyebut nol apa pun (harus cocok dengan sklearn dengan zero_division=0). Lalu tulis best_threshold(scores, labels, candidates) mengembalikan kandidat dengan F1 tertinggi (threshold terendah menang jika seri), dan atur best = best_threshold(SCORES, LABELS, CANDIDATES).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.