シラバス レッスン 250 中 179 · LLM を本番に載せる:コスト、キャッシュ、ガードレール
LLM を本番に載せる:コスト、キャッシュ、ガードレール

コンテキストウィンドウの予算管理

どのモデルにも有限のコンテキストウィンドウがあります:1 回の呼び出しで読めるトークンの最大数です。長いチャットの履歴はいずれそれをあふれさせ、呼び出しはエラーになるか、黙って切り詰められます。本番の直し方は、送る前に会話を刈り込む予算管理です。

標準的な方針は単純で、実戦で鍛えられています:システムメッセージは常に残し(決して落としてはならない指示と人格を運んでいるからです)、それから累計のトークンの見積もりが予算に収まるまで、いちばん古いふつうのターンを 1 つずつ落とします。筋の通った会話には最近のターンがいちばん大切なので、それらは最後まで残ります。

メッセージはおなじみのチャットの形式です:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

前のレッスンでトークンの見積もり(chars/4)はもうあります。ここでは estimate_tokens として用意してあります。残したすべてのメッセージの content についてそれを合計すれば、累計が得られます。

fit_to_budget(messages, max_tokens) を作ってください。次を満たす新しいメッセージのリストを、元の順番で返します:システムメッセージは常に残される。落とすことができる限り、残したメッセージの見積もりのトークンの合計は max_tokens 以下(<=)になる。落とさなければならないときは、システムでないメッセージのうちいちばん古いものから落とす。ゆとりのある予算ならすべてを残します。入力のリストは変更しないでください。

あなたの番

残したメッセージを元の順番で返す fit_to_budget(messages, max_tokens) を書いてください。すべてのシステムメッセージを残します。見積もりのトークンの合計(各 content について estimate_tokens を合計したもの)が <= max_tokens になるまで、システムでないメッセージのうちいちばん古いものを 1 つずつ落とします。ゆとりのある予算なら何も落とさず、2 つの違う予算は違う組を残さなければならず、いちばん新しいターンは古いものより優先して生き残ります。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。