Порог уверенности и отказ от ответа
A классификатор always возвращает ответ, даже когда он ничего не знает. Сумма Softmax должна быть равна 1, поэтому искренне запутавшаяся модель все равно выдает вам основной лейбл -> просто с низкой вероятностью. В продакшене это опасно: скрытая ошибка маршрутизации клиента хуже, чем признание в неуверенности.
Решение это confidence threshold с опцией abstain. Вы смотрите на вероятность лучшего лейбла; если она проходит порог, вы действуете, а если нет, вы возвращаете специальный "abstain" вердикт, который передает запрос человеку (или повышает уровень до более дорогой модели). Это шлюз передачи человеку, который есть в каждой серьезной системе LLM.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"Порог это ручка, которую вы настраиваете на основе данных: поднимите его и вы будете чаще воздерживаться (безопаснее, больше человеческой работы); опустите его и вы будете чаще действовать (дешевле, рискованнее). Сама граница важна -> решите, считается ли вероятность точно равная порогу как уверенная. Здесь мы используем >= threshold означает уверенный (граничное значение проходит).
Откуда берутся вероятности? Обычно model.predict_proba(...) из классификатора, который вы построили ранее, или из косинусных оценок по прототипам, нормализованных в распределение. В любом случае, логика гейтинга это та же маленькая функция, и она чистая и детерминированная -> именно такой тип ограждения можно протестировать модульно.
Создайте одну function. classify_with_threshold(probs, labels, threshold): найдите label с самой высокой вероятностью; если эта вероятность равна >= threshold верните label, иначе верните строку "abstain". probs и labels это выровненные list. Нажмите Run чтобы увидеть как уверенный случай проходит и неуверенный воздерживается.
Напишите classify_with_threshold(probs, labels, threshold), где probs и labels это выровненные списки. Верните метку, чья вероятность самая высокая, но только если эта вероятность равна >= threshold; иначе верните строку "abstain". Считайте вероятность, точно равную порогу, уверенной.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.