Программа курса Урок 178 из 250 · Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры
Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры

Учет токенов и стоимости

Вызов модели

A стоит реальных денег, и счет измеряется в tokens, а не в символах или словах. Токен это примерно кусок из нескольких символов. Точное количество дает tokenizer модели, но для планирования бюджета и дашбордов хорошее правило такое tokens ≈ characters / 4. Эта оценка достаточно близка, чтобы прогнозировать расходы, устанавливать лимиты на запрос и замечать промпт, который вот-вот раздует ваш Бюджет.

Провайдеры устанавливают цены на input (prompt) токены и output (completion) токены по разным тарифам, обычно в долларах за 1,000,000 токенов. Вывод часто стоит в несколько раз дороже, чем входные данные, поэтому разделение важно. Стоимость одного вызова:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

В реальном приложении вы бы читали истинное количество токенов прямо из ответа. Например, движок WebLLM на устройстве возвращает его вместе с ответом:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

Этот живой звонок приведен только для иллюстрации. Здесь вы строите детерминированный слой учета, который окружает любую модель: токен estimator и cost функция над таблицей цен. Это две функции, из которых состоит любой дашборд стоимости.

Создайте две функции. estimate_tokens(text) возвращает оценку количества токенов по правилу chars/4 (используйте целочисленное деление, поэтому "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) возвращает стоимость в долларах по формуле выше, где тарифы указаны в долларах за 1,000,000 токенов. Обе функции должны быть чистыми и без побочных эффектов.

Твоя очередь

Напишите estimate_tokens(text), которая возвращает оценку количества токенов (около len(text) // 4, поэтому пустая строка это 0), и estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate), которая возвращает стоимость в долларах, где in_rate и out_rate это цены за 1,000,000 токенов. Более длинный из двух текстов никогда не должен оцениваться в меньшее количество токенов, а замена вызова с упором на prompt на вызов с упором на completion должна менять стоимость, когда две ставки различаются.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.