Программа курса Урок 179 из 250 · Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры
Внедрение LLM в продакшн: Стоимость, кэширование и защитные барьеры

Бюджетировщик контекстного окна

У каждой модели есть конечное контекстное окно: максимальное количество токенов, которые она может прочитать за один вызов. Длинная история чата в итоге переполняет его, и вызов либо выдает ошибку, либо молча обрезает текст. Решение для продакшена это бюджетер, который обрезает разговор перед отправкой.

Стандартная политика проста и проверена боем: всегда сохраняйте системное сообщение (оно несет инструкции и роль, которые нельзя удалять), затем удаляйте самые старые обычные ходы по одному, пока текущая оценка токенов не впишется в Бюджет. Последние ходы важнее всего для связности, поэтому они удаляются в последнюю очередь.

Сообщения выглядят как знакомый формат чата:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

У вас уже есть оценщик токенов (chars/4) из предыдущего урока; он предоставлен здесь как estimate_tokens. Суммируйте его по content каждого сохраненного сообщения, чтобы получить текущий итог.

Создайте fit_to_budget(messages, max_tokens). Верните новый list сообщений, в исходном порядке, так чтобы: системные сообщения всегда сохранялись; общая оценка токенов сохраненных сообщений <= max_tokens всякий раз, когда возможно удаление; и когда нужно удалять, сначала удаляются самые старые несистемные сообщения. Щедрый Budget сохраняет все. Не изменяйте входной list.

Твоя очередь

Напишите fit_to_budget(messages, max_tokens), которая возвращает сохраненные сообщения в исходном порядке. Сохраняйте каждое системное сообщение. Удаляйте самые старые несистемные сообщения по одному, пока общее оценочное количество токенов (сумма estimate_tokens по каждому content) не станет равным <= max_tokens. Щедрый Бюджет ничего не удаляет; два разных Бюджета должны сохранять разные наборы, и самые свежие ходы выживают вместо старых.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.