Стоимость-зависимый каскад
Это главная мысль всего модуля. Вызов LLM в продакшене медленный и стоит реальных денег; подходящий классификатор стоит почти ничего. Поэтому вы cascade: пусть дешевая модель обрабатывает уверенную большую часть трафика, а сомнительный хвост отправляйте только в дорогую LLM. Если сделать все правильно, вы обеспечите то же качество за малую часть счета.
Решение заключается в пороге, который вы уже создали: для каждого запроса у вас есть строка вероятности дешевого классификатора. Если его максимальная вероятность превышает confidence threshold, отвечайте дешево; иначе передавайте дальше. Инженерный вопрос, который на самом деле задает ваш босс, это сколько это экономит?, поэтому вы также считаете количество передач дальше и стоимость.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMПостройте cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Для каждой строки вероятности, если max(row) >= threshold она обрабатывается дешево (это стоит cheap_cost); иначе она передается выше (это стоит llm_cost). Верните {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} где all_llm_cost это сколько стоило бы отправка каждого запроса в LLM, и saved = all_llm_cost - total_cost. Пустой вход ничего не передает выше и ничего не стоит. Нажмите Run чтобы оценить стоимость пакета трафика.
Напишите cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Для каждой строки, если max(row) >= threshold, она обрабатывается дешево (стоимость cheap_cost), иначе эскалируется (стоимость llm_cost). Верните {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated это количество эскалированных, escalation_rate это escalated/len (0.0 для пустого), total_cost это суммарная стоимость за запрос, all_llm_cost = len(prob_rows) * llm_cost и saved = all_llm_cost - total_cost.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.