Программа курса Урок 199 из 250 · ML вокруг LLM
ML вокруг LLM

Стоимость-зависимый каскад

Это главная мысль всего модуля. Вызов LLM в продакшене медленный и стоит реальных денег; подходящий классификатор стоит почти ничего. Поэтому вы cascade: пусть дешевая модель обрабатывает уверенную большую часть трафика, а сомнительный хвост отправляйте только в дорогую LLM. Если сделать все правильно, вы обеспечите то же качество за малую часть счета.

Решение заключается в пороге, который вы уже создали: для каждого запроса у вас есть строка вероятности дешевого классификатора. Если его максимальная вероятность превышает confidence threshold, отвечайте дешево; иначе передавайте дальше. Инженерный вопрос, который на самом деле задает ваш босс, это сколько это экономит?, поэтому вы также считаете количество передач дальше и стоимость.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

Постройте cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Для каждой строки вероятности, если max(row) >= threshold она обрабатывается дешево (это стоит cheap_cost); иначе она передается выше (это стоит llm_cost). Верните {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} где all_llm_cost это сколько стоило бы отправка каждого запроса в LLM, и saved = all_llm_cost - total_cost. Пустой вход ничего не передает выше и ничего не стоит. Нажмите Run чтобы оценить стоимость пакета трафика.

Твоя очередь

Напишите cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Для каждой строки, если max(row) >= threshold, она обрабатывается дешево (стоимость cheap_cost), иначе эскалируется (стоимость llm_cost). Верните {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated это количество эскалированных, escalation_rate это escalated/len (0.0 для пустого), total_cost это суммарная стоимость за запрос, all_llm_cost = len(prob_rows) * llm_cost и saved = all_llm_cost - total_cost.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.