Планирование + Защита циклов
Агент, который может действовать, также может действовать вечно. Самый распространенный способ, которым реальный агент сжигает деньги и вызывает дежурного инженера, это цикл без тормозов: он продолжает вызывать один и тот же tool, получать одно и то же observation и никогда не решает, что он закончил. Этот урок добавляет две вещи, которые делают агента безопасным для запуска: крошечный planner, который разбивает цель на упорядоченные подзадачи, и loop guard, который останавливает агента до того, как он уйдет в бесконечный цикл.
Сначала планирование. decompose(goal) превращает однострочную цель в нумерованный список подзадач. Мы делаем это детерминированным и основанным на правилах (LLM делает это в продакшене, но shape это то, что важно): разделяем цель по слову "then", очищаем каждый фрагмент и нумеруем их с 1.
decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]Теперь страж. run_with_guard(policy, state, max_steps) управляет политикой шаг за шагом, но он отказывается убегать. Политика здесь это функция policy(state) -> action (строка с названием действия, которое она хочет выполнить); применение действия просто добавляет его в список истории. Страж останавливается по одной из трех причин и сообщает какую:
- завершено: политика возвращает действие
"done"-> halt с причиной"done". - нет прогресса: политика возвращает одно и то же действие два раза подряд -> остановка с причиной
"repeat". Это классический сигнал застревания в цикле: агент не учится на своих наблюдениях. - budget: оно достигает
max_stepsбез завершения -> остановка с причиной"max_steps".
def run_with_guard(policy, state, max_steps):
history = []
for _ in range(max_steps):
action = policy(state)
if action == "done":
return {"history": history, "reason": "done"}
if history and action == history[-1]:
return {"history": history, "reason": "repeat"}
history.append(action)
# let the policy advance its own state here
...
return {"history": history, "reason": "max_steps"}Верните словарь {"history": [...], "reason": ...}. Спасает именно проверка "repeat": ошибочная или запутавшаяся политика, которая бесконечно выдаёт "search", останавливается на втором одинаковом действии, с причиной, которую можно записать в лог и по которой можно поднять тревогу. Нормальная политика, которая продвигается и затем говорит "done", чисто завершает работу в пределах бюджета. Проверка смотрит, что зацикленная политика останавливается с "repeat", неуправляемая упирается в "max_steps", а хорошая завершается с "done", и что decompose считает правильно. Нажмите Запустить, чтобы увидеть все три исхода.
Напишите decompose(goal): split goal по " then ", strip каждую часть и верните их как "1. part", "2. part", ... Затем напишите run_with_guard(policy, state, max_steps), где policy(state) возвращает строку действия. Запустите политику до max_steps раз и верните {"history": [...], "reason": ...}: stop с причиной "done", когда action равен "done"; stop с причиной "repeat", когда action равен предыдущему (no-progress); stop с причиной "max_steps", если бюджет закончился. Добавьте каждое принятое действие в history.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.