Программа курса Урок 198 из 250 · ML вокруг LLM
ML вокруг LLM

Порог уверенности и отказ от ответа

A классификатор always возвращает ответ, даже когда он ничего не знает. Сумма Softmax должна быть равна 1, поэтому искренне запутавшаяся модель все равно выдает вам основной лейбл -> просто с низкой вероятностью. В продакшене это опасно: скрытая ошибка маршрутизации клиента хуже, чем признание в неуверенности.

Решение это confidence threshold с опцией abstain. Вы смотрите на вероятность лучшего лейбла; если она проходит порог, вы действуете, а если нет, вы возвращаете специальный "abstain" вердикт, который передает запрос человеку (или повышает уровень до более дорогой модели). Это шлюз передачи человеку, который есть в каждой серьезной системе LLM.

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

Порог это ручка, которую вы настраиваете на основе данных: поднимите его и вы будете чаще воздерживаться (безопаснее, больше человеческой работы); опустите его и вы будете чаще действовать (дешевле, рискованнее). Сама граница важна -> решите, считается ли вероятность точно равная порогу как уверенная. Здесь мы используем >= threshold означает уверенный (граничное значение проходит).

Откуда берутся вероятности? Обычно model.predict_proba(...) из классификатора, который вы построили ранее, или из косинусных оценок по прототипам, нормализованных в распределение. В любом случае, логика гейтинга это та же маленькая функция, и она чистая и детерминированная -> именно такой тип ограждения можно протестировать модульно.

Создайте одну function. classify_with_threshold(probs, labels, threshold): найдите label с самой высокой вероятностью; если эта вероятность равна >= threshold верните label, иначе верните строку "abstain". probs и labels это выровненные list. Нажмите Run чтобы увидеть как уверенный случай проходит и неуверенный воздерживается.

Твоя очередь

Напишите classify_with_threshold(probs, labels, threshold), где probs и labels это выровненные списки. Верните метку, чья вероятность самая высокая, но только если эта вероятность равна >= threshold; иначе верните строку "abstain". Считайте вероятность, точно равную порогу, уверенной.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.