コンテキストウィンドウの予算管理
どのモデルにも有限のコンテキストウィンドウがあります:1 回の呼び出しで読めるトークンの最大数です。長いチャットの履歴はいずれそれをあふれさせ、呼び出しはエラーになるか、黙って切り詰められます。本番の直し方は、送る前に会話を刈り込む予算管理です。
標準的な方針は単純で、実戦で鍛えられています:システムメッセージは常に残し(決して落としてはならない指示と人格を運んでいるからです)、それから累計のトークンの見積もりが予算に収まるまで、いちばん古いふつうのターンを 1 つずつ落とします。筋の通った会話には最近のターンがいちばん大切なので、それらは最後まで残ります。
メッセージはおなじみのチャットの形式です:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]前のレッスンでトークンの見積もり(chars/4)はもうあります。ここでは estimate_tokens として用意してあります。残したすべてのメッセージの content についてそれを合計すれば、累計が得られます。
fit_to_budget(messages, max_tokens) を作ってください。次を満たす新しいメッセージのリストを、元の順番で返します:システムメッセージは常に残される。落とすことができる限り、残したメッセージの見積もりのトークンの合計は max_tokens 以下(<=)になる。落とさなければならないときは、システムでないメッセージのうちいちばん古いものから落とす。ゆとりのある予算ならすべてを残します。入力のリストは変更しないでください。
残したメッセージを元の順番で返す fit_to_budget(messages, max_tokens) を書いてください。すべてのシステムメッセージを残します。見積もりのトークンの合計(各 content について estimate_tokens を合計したもの)が <= max_tokens になるまで、システムでないメッセージのうちいちばん古いものを 1 つずつ落とします。ゆとりのある予算なら何も落とさず、2 つの違う予算は違う組を残さなければならず、いちばん新しいターンは古いものより優先して生き残ります。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。