文脈とトークンの予算
どのモデルにも有限のコンテキストウィンドウがあり、トークンごとにお金を払います。会話が予算を超えて大きくなると、全部は送れないので、何を残すかを決めます。標準的な方針:システムプロンプト(ルールを決めるもの)と、まだ収まるいちばん新しいメッセージを残し、いちばん古いものを落とします。
簡単な予算管理を作ります。まず、大まかなトークンの見積もりです:本物のトークナイザーはモデルごとに違いますが、オフラインでのしっかりした近似は1 トークンあたりおよそ 4 文字です。estimate_tokens(text) は len(text) // 4 を返します(空のテキストなら 0、空でないテキストなら少なくとも 1)。
それから fit_context(system, messages, budget) が何が生き残るかを決めます:
- システムプロンプトを最初に数え、常に残します。
- メッセージをいちばん新しいものからいちばん古いものへたどり、そのトークンがまだ予算に収まるものを残し、次のものがあふれるところで止めます。
keptを時間の順番に戻して、{"kept": [...], "dropped": n, "tokens": total}を返します。
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two survive採点プログラムが確かめる 2 つの細かい点:予算が厳しいほど残るメッセージは少なく(そして正しいもの)になり、空でないシステムプロンプトは予算を食うので収まるメッセージが減ります。新しいものから選ぶために逆順にたどり、それから会話が順番どおりに読めるように残したリストを逆に戻します。実行を押して採点します。
len(text) // 4 を返す(空なら 0、空でなければ少なくとも 1)estimate_tokens(text) を書いてください。システムを最初に数え、収まるいちばん新しいメッセージを(逆順にたどって)残し、kept を時間の順番に戻して {"kept", "dropped", "tokens"} を返す fit_context(system, messages, budget) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。