Защита циклов: max_steps и остановка при повторном действии
Агент, который может выполнять loop, может выполнять loop бесконечно. Модель путается, повторяет один и тот же неудачный вызов tool и вы просыпаетесь с счетом на пять цифр. Guard rails не являются опциональными. Это разница между демо и тем, что вы покажете клиенту. Два guards ловят почти всё: жесткий лимит на количество steps и обнаружение повторных действий.
Вы построите run_with_guard(plan, tools, max_steps). Он выполняет тот же план, что и раньше, но вместо простого trace он возвращает небольшой отчет: {"status": ..., "trace": [...]}, где status - один из трех результатов:
"max_steps"- агент достиг лимита шагов до завершения. Остановитесь и пометьте это."loop_detected"- агент попытался выполнить точно такое же действие (тот же инструмент, те же args), которое он уже совершал. Это цикл; остановитесь до того, как он зациклится."done"- план завершен нормально (закончились шаги или сработало действие"finish").
Отслеживайте действия, которые вы видели, чтобы повторы было дешево обнаруживать. dict не хешируемый, поэтому сначала превращайте каждое действие в хешируемый ключ:
seen = set()
...
key = (action, repr(args)) # repr makes the args dict hashable
if key in seen:
return {"status": "loop_detected", "trace": trace}
seen.add(key)Трассировка обрезается в точке остановки: когда вы останавливаетесь на max_steps или loop_detected, возвращайте трассировку того, что реально выполнилось до этого момента, а не весь план. Эта обрезанная трассировка и есть ваш отчет об инциденте. Она показывает точно, где агент сбился с пути.
Проверьте лимит шагов и повтор before записи шага, чтобы счетчики совпадали: с max_steps=3 трассировка удерживает максимум 3 записи, и повторное действие фиксируется до того, как оно выполнится второй раз. Нажмите Run чтобы увидеть выполнение всех трех результатов.
Напишите run_with_guard(plan, tools, max_steps=10), возвращающий {"status": ..., "trace": [...]}. Остановитесь с "max_steps", когда trace достигнет max_steps записей, с "loop_detected", когда действие повторяется точно (тот же tool и args), и с "done", когда план завершается или достигает "finish". Проверяйте guards перед записью каждого step, чтобы trace обрезался в точке остановки.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.