Программа курса Урок 232 из 250 · Проект: Исследовательский агент с использованием инструментов
Проект: Исследовательский агент с использованием инструментов

Планирование + Защита циклов

Агент, который может действовать, также может действовать вечно. Самый распространенный способ, которым реальный агент сжигает деньги и вызывает дежурного инженера, это цикл без тормозов: он продолжает вызывать один и тот же tool, получать одно и то же observation и никогда не решает, что он закончил. Этот урок добавляет две вещи, которые делают агента безопасным для запуска: крошечный planner, который разбивает цель на упорядоченные подзадачи, и loop guard, который останавливает агента до того, как он уйдет в бесконечный цикл.

Сначала планирование. decompose(goal) превращает однострочную цель в нумерованный список подзадач. Мы делаем это детерминированным и основанным на правилах (LLM делает это в продакшене, но shape это то, что важно): разделяем цель по слову "then", очищаем каждый фрагмент и нумеруем их с 1.

decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]

Теперь страж. run_with_guard(policy, state, max_steps) управляет политикой шаг за шагом, но он отказывается убегать. Политика здесь это функция policy(state) -> action (строка с названием действия, которое она хочет выполнить); применение действия просто добавляет его в список истории. Страж останавливается по одной из трех причин и сообщает какую:

  • завершено: политика возвращает действие "done" -> halt с причиной "done".
  • нет прогресса: политика возвращает одно и то же действие два раза подряд -> остановка с причиной "repeat". Это классический сигнал застревания в цикле: агент не учится на своих наблюдениях.
  • budget: оно достигает max_steps без завершения -> остановка с причиной "max_steps".
def run_with_guard(policy, state, max_steps):
    history = []
    for _ in range(max_steps):
        action = policy(state)
        if action == "done":
            return {"history": history, "reason": "done"}
        if history and action == history[-1]:
            return {"history": history, "reason": "repeat"}
        history.append(action)
        # let the policy advance its own state here
        ...
    return {"history": history, "reason": "max_steps"}

Верните словарь {"history": [...], "reason": ...}. Спасает именно проверка "repeat": ошибочная или запутавшаяся политика, которая бесконечно выдаёт "search", останавливается на втором одинаковом действии, с причиной, которую можно записать в лог и по которой можно поднять тревогу. Нормальная политика, которая продвигается и затем говорит "done", чисто завершает работу в пределах бюджета. Проверка смотрит, что зацикленная политика останавливается с "repeat", неуправляемая упирается в "max_steps", а хорошая завершается с "done", и что decompose считает правильно. Нажмите Запустить, чтобы увидеть все три исхода.

Твоя очередь

Напишите decompose(goal): split goal по " then ", strip каждую часть и верните их как "1. part", "2. part", ... Затем напишите run_with_guard(policy, state, max_steps), где policy(state) возвращает строку действия. Запустите политику до max_steps раз и верните {"history": [...], "reason": ...}: stop с причиной "done", когда action равен "done"; stop с причиной "repeat", когда action равен предыдущему (no-progress); stop с причиной "max_steps", если бюджет закончился. Добавьте каждое принятое действие в history.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.