Учет токенов и стоимости
A стоит реальных денег, и счет измеряется в tokens, а не в символах или словах. Токен это примерно кусок из нескольких символов. Точное количество дает tokenizer модели, но для планирования бюджета и дашбордов хорошее правило такое tokens ≈ characters / 4. Эта оценка достаточно близка, чтобы прогнозировать расходы, устанавливать лимиты на запрос и замечать промпт, который вот-вот раздует ваш Бюджет.
Провайдеры устанавливают цены на input (prompt) токены и output (completion) токены по разным тарифам, обычно в долларах за 1,000,000 токенов. Вывод часто стоит в несколько раз дороже, чем входные данные, поэтому разделение важно. Стоимость одного вызова:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateВ реальном приложении вы бы читали истинное количество токенов прямо из ответа. Например, движок WebLLM на устройстве возвращает его вместе с ответом:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeЭтот живой звонок приведен только для иллюстрации. Здесь вы строите детерминированный слой учета, который окружает любую модель: токен estimator и cost функция над таблицей цен. Это две функции, из которых состоит любой дашборд стоимости.
Создайте две функции. estimate_tokens(text) возвращает оценку количества токенов по правилу chars/4 (используйте целочисленное деление, поэтому "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) возвращает стоимость в долларах по формуле выше, где тарифы указаны в долларах за 1,000,000 токенов. Обе функции должны быть чистыми и без побочных эффектов.
Напишите estimate_tokens(text), которая возвращает оценку количества токенов (около len(text) // 4, поэтому пустая строка это 0), и estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate), которая возвращает стоимость в долларах, где in_rate и out_rate это цены за 1,000,000 токенов. Более длинный из двух текстов никогда не должен оцениваться в меньшее количество токенов, а замена вызова с упором на prompt на вызов с упором на completion должна менять стоимость, когда две ставки различаются.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.