シラバス レッスン 250 中 189 · 本番のパターン:再試行、非同期、ストリーミング、メモリ
本番のパターン:再試行、非同期、ストリーミング、メモリ

複数ターンの会話のメモリ

チャットボットには自分の記憶がありません -> モデルが見るのは、呼び出しのたびにあなたが送ったものだけです。会話を続けるには、履歴を再生します:システムメッセージと、ここまでのやりとりのターンです。でも履歴は際限なく伸び、コンテキストウィンドウは伸びないので、会話を保ち、呼び出しのたびに収まるように刈り込むメモリが必要です。

方針は、本番のシステムが行き着くものです。システムメッセージは常に残します -> 決して失ってはならない指示と人格を運んでいるからです。それから予算に収まるだけのいちばん新しいターンを残し、ふつうのターンはいちばん古いものから落とします。筋の通った返答には、最近の文脈がいちばん大切だからです。トークンの予算には、おなじみの見積もり chars / 4 を使います。

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

これはまさに、デバイス上の WebLLM エンジンも含めて、どんなチャットモデルの前にも置かれるオブジェクトです:ターンをためていき、それから次の呼び出しのメッセージとして trimmed_context(...) を渡します。ここではモデルは動きません -> 刈り込みのロジックは決定的で、直接採点されます。

Conversation クラスを作ってください。コンストラクターは省略可能な system メッセージ(固定されていて、決して落とされない)を受け取ります。add(role, content) はターンを追加します。trimmed_context(max_tokens) は、残したターンを時間の順番で返します:すべてのシステムメッセージと、見積もったトークン(chars / 4 のルールで合計したもの)が max_tokens に収まる、いちばん新しいふつうのターンで、古いものから落とします。ゆとりのある予算での短い履歴は、まるごと残ります。

あなたの番

ターンを順番どおりにリストの属性 turns に持つ Conversation クラスを作ってください(各ターンは {"role", "content"} の辞書。Conversation(system=...) はシステムメッセージを最初のターンとして保存します):add(role, content) はターンを追加し、trimmed_context(max_tokens) はシステムメッセージと、chars/4 のトークンの予算に収まる、いちばん新しい途切れのない連なりのターンを残し、時間の順番で返します。いちばん新しいターンから逆にたどり、収まらない最初のターンで止めます:決してターンを飛ばして、それより古いものを残してはいけません。途中に穴の空いた会話(質問のない答え)はモデルを混乱させるからです。短い履歴はまるごと残り、厳しい予算ではいちばん古いものが落とされますが、システムメッセージといちばん新しいターンは残ります(いちばん新しいターンさえ収まらなければ、システムメッセージだけが残ります)。順番は時間の順番のままで、トークンの見積もりは正確です。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。