シラバス レッスン 250 中 178 · LLM を本番に載せる:コスト、キャッシュ、ガードレール
LLM を本番に載せる:コスト、キャッシュ、ガードレール

トークンとコストの会計

モデルの呼び出しには本物のお金がかかり、請求は文字や単語ではなくトークンで測られます。トークンはだいたい数文字のかたまりです。正確な数はモデルのトークナイザーが決めますが、予算やダッシュボードのためには tokens ≈ characters / 4 が良い目安です。その見積もりは、支出の予測、リクエストごとの上限の設定、予算を吹き飛ばしそうなプロンプトの発見には十分なほど正確です。

提供元は入力(プロンプト)のトークンと出力(完了)のトークンに違う料金を付けていて、たいてい 1,000,000 トークンあたりのドルで示されます。出力は入力より何倍も高いことがよくあるので、その内訳が大切です。1 回の呼び出しのコストはこうです:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

本物のアプリでは、本当のトークン数をレスポンスから直接読みます。たとえば、デバイス上の WebLLM エンジンは返答と一緒にそれを返してくれます:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

そのライブの呼び出しは説明用にすぎません。ここでは、どんなモデルのまわりにも置かれる決定的な会計の層を作ります:トークンの見積もりと、料金表に対するコストの関数です。あらゆるコストのダッシュボードは、この 2 つの関数でできています。

関数を 2 つ作ってください。estimate_tokens(text) は chars/4 のルールで整数のトークンの見積もりを返します(整数の割り算を使うので、"" -> 0)。estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) は上の式でドルのコストを返します。料金は 1,000,000 トークンあたりのドルです。どちらも純粋で、副作用のないものにしておきましょう。

あなたの番

整数のトークンの見積もり(およそ len(text) // 4 なので、空の文字列は 0)を返す estimate_tokens(text) と、in_rate と out_rate が 1,000,000 トークンあたりの料金であるとして、ドルのコストを返す estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) を書いてください。2 つのテキストのうち長いほうが少ないトークンに見積もられることは決してあってはならず、2 つの料金が違うなら、プロンプトの多い呼び出しを完了の多い呼び出しに入れ替えるとコストが変わらなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。