シラバス レッスン 250 中 181 · LLM を本番に載せる:コスト、キャッシュ、ガードレール
LLM を本番に載せる:コスト、キャッシュ、ガードレール

提供元の側でのプロンプトのキャッシュ

前のレッスンでは、リクエストが繰り返されたときにモデルを飛ばしました。このレッスンでは、リクエストそのものを安くします。ほとんどの提供元はプロンプトのキャッシュを提供しています:プロンプトの安定した先頭部分に印を付けると、次にそれを再利用する呼び出しでは、提供元がそのトークンを処理し直すのを飛ばし、大幅な割引で請求するのです。これは、作ったばかりの応答のキャッシュとは違うてこです:

  • 応答のキャッシュ(前のレッスン):答え全体を再利用するので、呼び出しそのものを飛ばします。質問が繰り返されるときだけ動きます。
  • プロンプトのキャッシュ(このレッスン):呼び出しはやはり起き、新しい答えも得られますが、共有された先頭部分が安くなります。質問が毎回違っても動きます。

キャッシュする先頭部分には何を入れるべきでしょう?すべての呼び出しに乗ってくる、大きくて安定したものです:長いシステムプロンプト、ツールの定義、フューショットの例、いくつも質問するつもりの検索した文書。変わる部分(本当のユーザーの質問)は、キャッシュの区切りのあとに置きます。Anthropic では cache_control ブロックで境界に印を付けます:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

経済性には 3 つの料金があり、どれもふつうの入力の値段に対する比率です。キャッシュの書き込み(先頭部分を保存する最初の呼び出し)は入力のおよそ 1.25x です。キャッシュの読み込み(保存された先頭部分にヒットする後の呼び出し)は入力のおよそ 0.1x です。ミスはただの 1x です。項目は数分間生きていて、そのタイマーはヒットのたびに更新されるので、よく使われる先頭部分は温まったままです。実際的な制限が 3 つあります:モデルの最小値(モデルによって数百から数千トークン)より短い先頭部分は黙ってキャッシュされません。キャッシュは先頭部分の一致なので、プロンプトの前のほうのどの 1 バイトを変えても(たとえばシステムプロンプトの中のタイムスタンプ)、それより後ろのすべてが無効になります。そして各キャッシュは 1 つのモデルのものなので、モデルを切り替えると冷えた状態から始まります。実際にヒットしたかどうかは、レスポンスの usage.cache_read_input_tokens で確かめましょう。損益分岐はすぐに来ます:大きな先頭部分が数回でも再利用されれば、1 回きりの 1.25x の書き込みは、再利用のたびに 1x ではなく 0.1x を払うことに比べればちっぽけなものです。

先頭部分をキャッシュすると元が取れるかどうかを決める、コストのモデルを作ります。

あなたの番

経済性をモデル化してください。値段は 1,000,000 トークンあたりのドルで、入力には 3.0、出力には 15.0 を使います。(1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls):どの呼び出しも prefix_tokens + variable_tokens に入力の満額を、output_tokens に出力の値段を払い、それを calls 倍します。(2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls):先頭部分は入力の値段の 1.25x で一度書き込まれ、それから残りの calls - 1 回の呼び出しで入力の値段の 0.1x で読み込まれます。変わるトークンは常に入力の満額を払い、出力はどの呼び出しでも常に出力の満額を払います。calls >= 1 と仮定します。(3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) は、cached_cost が uncached_cost より厳密に小さいとき True を返します。ふつうの float(ドル)を返してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。