複数ターンの会話のメモリ
チャットボットには自分の記憶がありません -> モデルが見るのは、呼び出しのたびにあなたが送ったものだけです。会話を続けるには、履歴を再生します:システムメッセージと、ここまでのやりとりのターンです。でも履歴は際限なく伸び、コンテキストウィンドウは伸びないので、会話を保ち、呼び出しのたびに収まるように刈り込むメモリが必要です。
方針は、本番のシステムが行き着くものです。システムメッセージは常に残します -> 決して失ってはならない指示と人格を運んでいるからです。それから予算に収まるだけのいちばん新しいターンを残し、ふつうのターンはいちばん古いものから落とします。筋の通った返答には、最近の文脈がいちばん大切だからです。トークンの予算には、おなじみの見積もり chars / 4 を使います。
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually sendこれはまさに、デバイス上の WebLLM エンジンも含めて、どんなチャットモデルの前にも置かれるオブジェクトです:ターンをためていき、それから次の呼び出しのメッセージとして trimmed_context(...) を渡します。ここではモデルは動きません -> 刈り込みのロジックは決定的で、直接採点されます。
Conversation クラスを作ってください。コンストラクターは省略可能な system メッセージ(固定されていて、決して落とされない)を受け取ります。add(role, content) はターンを追加します。trimmed_context(max_tokens) は、残したターンを時間の順番で返します:すべてのシステムメッセージと、見積もったトークン(chars / 4 のルールで合計したもの)が max_tokens に収まる、いちばん新しいふつうのターンで、古いものから落とします。ゆとりのある予算での短い履歴は、まるごと残ります。
ターンを順番どおりにリストの属性 turns に持つ Conversation クラスを作ってください(各ターンは {"role", "content"} の辞書。Conversation(system=...) はシステムメッセージを最初のターンとして保存します):add(role, content) はターンを追加し、trimmed_context(max_tokens) はシステムメッセージと、chars/4 のトークンの予算に収まる、いちばん新しい途切れのない連なりのターンを残し、時間の順番で返します。いちばん新しいターンから逆にたどり、収まらない最初のターンで止めます:決してターンを飛ばして、それより古いものを残してはいけません。途中に穴の空いた会話(質問のない答え)はモデルを混乱させるからです。短い履歴はまるごと残り、厳しい予算ではいちばん古いものが落とされますが、システムメッセージといちばん新しいターンは残ります(いちばん新しいターンさえ収まらなければ、システムメッセージだけが残ります)。順番は時間の順番のままで、トークンの見積もりは正確です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。