Память многоходового диалога
A чат-бота нет собственной памяти -> модель видит только то, что вы отправляете ей при каждом вызове. Чтобы вести диалог, вы воспроизводите историю: системное сообщение плюс все предыдущие реплики. Но история растет бесконечно, а контекстное окно нет, поэтому вам нужен memory, который хранит разговор и обрезает его, чтобы он помещался перед каждым вызовом.
Политика это то, к чему сходятся производственные системы. Всегда сохраняйте системное сообщение -> оно несет инструкции и роль, которые нельзя терять. Затем сохраняйте столько самых последних разворотов, сколько подходит под Бюджет, удаляя самые старые обычные развороты первыми, потому что недавний контекст важнее всего для связного ответа. Бюджеты токенов используют знакомую оценку chars / 4.
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually sendЭто именно тот объект, который находится перед любой чат моделью, включая движок WebLLM на устройстве: вы накапливаете ходы, а затем передаете trimmed_context(...) как сообщения для следующего вызова. Никакая модель здесь не запускается -> логика обрезки детерминирована и оценивается напрямую.
Создайте класс Conversation.Конструктор принимает необязательное system message (закрепленное, никогда не удаляемое). add(role, content) добавляет ход. trimmed_context(max_tokens) возвращает сохраненные ходы в хронологическом порядке: каждое системное сообщение, плюс самые последние обычные ходы, чьи оценочные токены (суммированные с chars / 4 rule) помещаются в max_tokens, удаляя старые в первую очередь. Короткая история при щедром Бюджете сохраняется целиком.
Создайте класс Conversation, хранящий свои ходы по порядку в атрибуте list turns (каждый это словарь {"role", "content"}; Conversation(system=...) хранит системное сообщение как первый ход): add(role, content) добавляет ход, а trimmed_context(max_tokens) сохраняет системное сообщение(а) плюс новые unbroken run ходов, которые подходят под Бюджет chars/4 токенов, возвращая их в хронологическом порядке. Отматывайте назад от нового хода и останавливайтесь на первом, который не подходит: никогда не пропускайте ход и не оставляйте старый, потому что разговор с дырой посередине (ответ без вопроса) путает модель. Короткая история хранится целиком; жесткий Бюджет отбрасывает старейший, но сохраняет системное сообщение и новый ход (если даже новый ход не подходит, остается только системное сообщение); порядок остается хронологическим; оценка токенов верна.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.