Программа курса Урок 194 из 250 · Ответственный ИИ: Безопасность, Модерация и Ред-тиминг
Ответственный ИИ: Безопасность, Модерация и Ред-тиминг

Калибровка отказов: избыточный и недостаточный отказ

Блокировка атак это только половина безопасности. Другая половина это не избыточная блокировка. Модель, которая отказывается отвечать на каждый слегка острый вопрос, безопасна и бесполезна, это аналог пожарной сигнализации, которая срабатывает, когда вы жарите тост. Вам нужно измерить оба режима сбоя на одном и том же размеченном сете и настроить линию между ними.

Возьмите набор промптов, каждый из которых помечен тем, что приложение should должно делать: "refuse" (реально вредно) или "answer" (безопасно). Ваш guard выдает risk score для каждого промпта, и вы отказываете, когда score превышает threshold. Может произойти две ошибки:

  • Избыточный отказ (ложноположительный результат): вы отказались отвечать на запрос, на который должны были ответить. Раздражает, отталкивает пользователей.
  • Under-refusal (ложноотрицательный результат): вы ответили на запрос, который должны были отклонить. Опасно, главный риск.

Если считать "refuse" положительным классом, стандартные метрики говорят обо всем:

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

Низкая точность (precision) означает, что вы слишком часто отказываете (много безобидных промптов в ваших отказах). Низкая полнота (recall) означает, что вы отказываете недостаточно (вредные промпты проскакивают). Они меняются местами при изменении порога: отказывайте агрессивно и полнота (recall) растет, а точность (precision) падает; отказывайте осторожно и наоборот. Вы напишете refusal_metrics(scores, labels, threshold) и затем best_threshold(scores, labels, candidates), который проверяет варианты порогов и возвращает тот, где самое высокое F1, единственное число, которое не дает ни одной ошибке разрастись.

Две детали точности проверяют тесты. Откажитесь, когда score >= threshold (больше или равно, так что оценка ровно на линии вызывает отказ). И когда знаменатель метрики равен нулю (вы ничего не отказали, так что precision не определена) возвращайте 0.0 вместо ошибки. Ваши метрики должны совпадать с precision_score, recall_score и f1_score из scikit-learn с zero_division=0, потому что вы никогда не должны поставлять самописные метрики, которые не совпадают с протестированной библиотекой.

Твоя очередь

Напишите refusal_metrics(scores, labels, threshold), где labels это "refuse"/"answer" и вы предсказываете refuse, когда score >= threshold. Считайте "refuse" положительным и возвращайте {"precision", "recall", "f1"}, каждое round до 4 знаков, с 0.0 для любой метрики с нулевым знаменателем (должно совпадать со sklearn с zero_division=0). Затем напишите best_threshold(scores, labels, candidates), возвращающий кандидата с самым высоким F1 (при равенстве побеждает самый низкий порог), и установите best = best_threshold(SCORES, LABELS, CANDIDATES).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.