Контекст и Бюджет токенов
У каждой модели есть конечное context window, и вы платите за каждый токен. Когда разговор превышает Бюджет, вы не можете отправить его целиком, поэтому вы решаете, что оставить. Стандартная политика: оставить system prompt (он задает правила) плюс most recent сообщения, которые еще помещаются, и удалить самые старые.
Вы построите простой бюджетер. Сначала примерный оценщик токенов: реальные токенизаторы зависят от модели, но надежная офлайн аппроксимация это около 4 символов на токен. estimate_tokens(text) возвращает len(text) // 4 (и 0 для пустого текста, как минимум 1 для любого непустого текста).
Затем fit_context(system, messages, budget) решает, что выживет:
- Системный промпт считается первым и всегда сохраняется.
- Пройдитесь по сообщениям от новых к старым, оставляя каждое, чьи токены еще помещаются в бюджет; остановитесь, когда следующее сообщение вызовет переполнение.
- Верните
{"kept": [...], "dropped": n, "tokens": total}сkept, восстановленным в хронологическом порядке.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveДве тонкости, которые проверяет оценщик: более строгий бюджет оставляет меньше (и правильных) сообщений, а непустой system prompt расходует бюджет, поэтому помещается меньше сообщений. Используйте обратный цикл, чтобы выбрать новые сообщения первыми, затем снова разверните сохраненный список, чтобы диалог читался по порядку. Нажмите Run, чтобы оценить.
Напишите estimate_tokens(text), возвращающий len(text) // 4 (0 для пустого, минимум 1 для непустого). Напишите fit_context(system, messages, budget), который сначала считает систему, сохраняет новые подходящие сообщения (итерируйте в обратном порядке) и возвращает {"kept", "dropped", "tokens"} с kept в хронологическом порядке.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.