강의 계획 레슨 250개 중 232번째 · 프로젝트: 도구를 쓰는 조사 에이전트
프로젝트: 도구를 쓰는 조사 에이전트

계획 + 반복 방지 장치

행동할 수 있는 에이전트는 영원히 행동할 수도 있어요. 진짜 에이전트가 돈을 태우고 당직 엔지니어를 호출하는 첫째 방법은 브레이크 없는 반복이에요: 같은 도구를 계속 부르고, 같은 관찰을 받고, 결코 끝났다고 정하지 않아요. 이 레슨은 에이전트를 실제로 돌려도 안전하게 만드는 두 가지를 더해요: 목표를 순서 있는 하위 과제로 나누는 작은 계획기, 그리고 에이전트가 헛돌기 전에 멈추는 반복 방지 장치.

먼저 계획. decompose(goal)는 한 줄짜리 목표를 번호 매긴 하위 과제 리스트로 바꿔요. 결정적이고 규칙 기반으로 유지해요(운영에서는 LLM이 하지만, 중요한 건 모양이에요): 목표를 단어 "then"으로 나누고, 각 조각을 다듬고, 1부터 번호를 매겨요.

decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]

이제 방지 장치. run_with_guard(policy, state, max_steps)는 정책을 한 단계씩 몰지만, 폭주를 거부해요. 여기서 정책은 함수 policy(state) -> action이에요(하고 싶은 행동의 이름을 담은 문자열). 행동을 적용하면 기록 리스트에 덧붙일 뿐이에요. 방지 장치는 세 가지 이유 중 하나로 멈추고 어느 것인지 알려요:

  • 끝남: 정책이 행동 "done"을 돌려줌 -> 이유 "done"으로 멈춰요.
  • 진전 없음: 정책이 같은 행동을 두 번 연달아 돌려줌 -> 이유 "repeat"로 멈춰요. 이게 반복에 갇혔다는 고전적인 신호예요: 에이전트가 관찰에서 배우지 않고 있어요.
  • 예산: 끝내지 못한 채 max_steps에 닿음 -> 이유 "max_steps"로 멈춰요.
def run_with_guard(policy, state, max_steps):
    history = []
    for _ in range(max_steps):
        action = policy(state)
        if action == "done":
            return {"history": history, "reason": "done"}
        if history and action == history[-1]:
            return {"history": history, "reason": "repeat"}
        history.append(action)
        # let the policy advance its own state here
        ...
    return {"history": history, "reason": "max_steps"}

dict {"history": [...], "reason": ...}를 돌려주세요. "repeat" 확인이 여러분을 구해요: 영원히 "search"를 내보내는 버그 있거나 헷갈린 정책은 두 번째 같은 행동에서 멈추고, 기록하고 경보를 걸 수 있는 이유가 남아요. 진전을 이루고 나서 "done"이라고 말하는 얌전한 정책은 예산 안에서 깔끔하게 끝나요. 채점기는 반복하는 정책이 "repeat"로 멈추고, 폭주하는 정책이 "max_steps"에 닿고, 좋은 정책이 "done"으로 끝나는지, 그리고 decompose가 올바르게 번호를 매기는지 확인해요. Run을 눌러 세 결과를 모두 보세요.

내 차례

decompose(goal)를 쓰세요: goal을 " then "으로 나누고, 각 부분을 다듬고, "1. part", "2. part", ...로 돌려주세요. 그다음 policy(state)가 행동 문자열을 돌려줄 때 run_with_guard(policy, state, max_steps)를 쓰세요. 정책을 최대 max_steps번 몰고 {"history": [...], "reason": ...}를 돌려주세요: 행동이 "done"이면 이유 "done"으로 멈추고, 행동이 바로 앞의 것과 같으면(진전 없음) 이유 "repeat"로 멈추고, 예산이 떨어지면 이유 "max_steps"로 멈추세요. 받아들인 행동마다 history에 덧붙이세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.