Программа курса Урок 175 из 250 · Создание агентов (Tool-Use и ReAct)
Создание агентов (Tool-Use и ReAct)

Память агента и накопление состояния

Цикл ReAct, который вы построили, страдает амнезией: каждый шаг вызывает инструмент и забывает все. Настоящий агент должен нести полученные знания дальше - факты, которые он искал, и результаты, которые вернули инструменты, чтобы последующий шаг мог их использовать. Этот запущенный notebook и есть память агента (люди также называют это scratchpad или рабочий контекст). Ваш код владеет ею; модель никогда не владеет.

Но контекст не бесплатный. Все из памяти снова вставляется в prompt на следующем шаге, и у модели есть фиксированное context window измеряемое в tokens. Если память будет расти бесконечно, вы в итоге переполните окно (и заплатите за каждый токен помимо этого). Поэтому памяти нужны две части: accumulate новые факты по ходу дела, и trim обратно до Budget, когда она становится слишком большой.

Его формат

State - это один dict: постоянная system заметка (постоянные инструкции агента, которые вы никогда не выбрасываете) и список facts, которые он собрал:

state = {"system": "You are a research agent.", "facts": []}

Каждое наблюдение становится одной строкой факта. После работы инструмента вы добавляете читаемую запись о том, что произошло:

state["facts"].append(f"{tool}({args}) -> {observation}")

Ограничение по бюджету токенов

Настоящие токенизаторы обучаются и основаны на подсловах; мы не можем запустить один здесь, поэтому мы оцениваем токен как одно слово с пробелом (len(text.split())) - тот же трюк, что и в модуле LLM. (В продакшене вы бы использовали реальное количество подслов из поля usage API или правило len(text) / 4 символов; оценка по пробелам просто делает это упражнение детерминированным.) Правило обрезки отражает то, что на самом деле делают продакшн агенты: всегда оставляйте системную заметку, затем оставляйте как можно больше из самых последних фактов, которые помещаются в оставшийся Бюджет. Свежесть побеждает, потому что последние результаты обычно те, которые нужны следующему шагу.

budget = max_tokens - est_tokens(state["system"])
# walk facts newest-first, keep while they fit, then stop

Проходите по фактам от новых к старым, добавляя стоимость токенов каждого до тех пор, пока следующий факт не превысит Бюджет, затем остановитесь. Разверните обратно, чтобы сохраненные факты остались в своем исходном порядке. Если Бюджет крошечный, вы можете оставить ноль фактов, но системная заметка всегда выживает.

В живом агенте модель читала бы render(state) в начале каждого шага, и тот же цикл accumulate-then-trim запускался бы после каждого вызова tool, поэтому окно никогда не переполнялось бы. Обучающий модуль на устройстве может управлять этим циклом, но оценка всегда проверяет только детерминированное состояние. Нажмите Run, чтобы накопить коротную транскрипцию и увидеть, как старые факты исчезают из-за ограниченного Бюджета.

Твоя очередь

Создайте память агента. Напишите new_state(system_note) -> {"system": note, "facts": []}; record(state, tool, args, observation), которая добавляет строку факта "<tool>(<args>) -> <observation>" и возвращает состояние; est_tokens(text) -> количество пробельных токенов; и trim(state, max_tokens), которая хранит системную заметку плюс самые свежие факты, чьи токены (токены системной заметки учитываются в Бюджете) помещаются в max_tokens. Затем напишите accumulate(system_note, transcript, max_tokens): начните новое состояние, record каждый (tool, args, observation) шаг по порядку, trim один раз в конце, и верните обрезанное состояние.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.