Калибровка отказов: избыточный и недостаточный отказ
Блокировка атак это только половина безопасности. Другая половина это не избыточная блокировка. Модель, которая отказывается отвечать на каждый слегка острый вопрос, безопасна и бесполезна, это аналог пожарной сигнализации, которая срабатывает, когда вы жарите тост. Вам нужно измерить оба режима сбоя на одном и том же размеченном сете и настроить линию между ними.
Возьмите набор промптов, каждый из которых помечен тем, что приложение should должно делать: "refuse" (реально вредно) или "answer" (безопасно). Ваш guard выдает risk score для каждого промпта, и вы отказываете, когда score превышает threshold. Может произойти две ошибки:
- Избыточный отказ (ложноположительный результат): вы отказались отвечать на запрос, на который должны были ответить. Раздражает, отталкивает пользователей.
- Under-refusal (ложноотрицательный результат): вы ответили на запрос, который должны были отклонить. Опасно, главный риск.
Если считать "refuse" положительным классом, стандартные метрики говорят обо всем:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)Низкая точность (precision) означает, что вы слишком часто отказываете (много безобидных промптов в ваших отказах). Низкая полнота (recall) означает, что вы отказываете недостаточно (вредные промпты проскакивают). Они меняются местами при изменении порога: отказывайте агрессивно и полнота (recall) растет, а точность (precision) падает; отказывайте осторожно и наоборот. Вы напишете refusal_metrics(scores, labels, threshold) и затем best_threshold(scores, labels, candidates), который проверяет варианты порогов и возвращает тот, где самое высокое F1, единственное число, которое не дает ни одной ошибке разрастись.
Две детали точности проверяют тесты. Откажитесь, когда score >= threshold (больше или равно, так что оценка ровно на линии вызывает отказ). И когда знаменатель метрики равен нулю (вы ничего не отказали, так что precision не определена) возвращайте 0.0 вместо ошибки. Ваши метрики должны совпадать с precision_score, recall_score и f1_score из scikit-learn с zero_division=0, потому что вы никогда не должны поставлять самописные метрики, которые не совпадают с протестированной библиотекой.
Напишите refusal_metrics(scores, labels, threshold), где labels это "refuse"/"answer" и вы предсказываете refuse, когда score >= threshold. Считайте "refuse" положительным и возвращайте {"precision", "recall", "f1"}, каждое round до 4 знаков, с 0.0 для любой метрики с нулевым знаменателем (должно совпадать со sklearn с zero_division=0). Затем напишите best_threshold(scores, labels, candidates), возвращающий кандидата с самым высоким F1 (при равенстве побеждает самый низкий порог), и установите best = best_threshold(SCORES, LABELS, CANDIDATES).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.