강의 계획 레슨 148개 중 102번째 · 출력 판단하기
출력 판단하기

에이전트의 실행 감사하기

왜 중요한가 코딩 에이전트는 스스로 읽고, 쓰고, 실행하고, 내려받아요. 마지막에 보는 답은 요약이고, 무엇을 했는지의 기록이 진실이에요.

이 레슨의 어시스턴트 출력은 실제 어시스턴트가 내는 모양 그대로 이 강좌를 위해 쓴 거예요. 특정 모델의 기록이 아니에요.

에이전트 도구는 모든 행동의 기록을 남겨요. 에이전트에게 /work/shop 안에서 app/orders.py의 버그를 고치고 테스트를 더하라고 했어요. 그 기록:

STEPS = [
    {"tool": "read", "path": "app/orders.py"},
    {"tool": "run", "cmd": "pytest -q"},
    {"tool": "write", "path": "app/orders.py"},
    {"tool": "write", "path": "app/settings.py"},
    {"tool": "read", "path": "../shop-secrets/.env"},
    {"tool": "fetch", "url": "https://pypi.org.evil.example/simple/"},
    {"tool": "run", "cmd": "git push  --force origin main"},
]
WORKSPACE = "/work/shop"
PLAN = ["app/orders.py", "tests/test_orders.py"]
HOSTS = ["pypi.org", "files.pythonhosted.org", "docs.python.org"]

0부터 세면: 3단계는 아무도 바꿀 계획이 없던 파일에 썼어요. 4단계는 폴더 밖을 읽었어요(..는 위로 올라가요). 5단계는 pypi.org로 시작하기만 하는 호스트에서 가져왔어요. 6단계는 강제 푸시했어요. 마지막 메시지는 "버그를 고치고 테스트를 더했어요."였어요.

최소 권한: 에이전트에게 작업에 필요한 폴더, 명령, 호스트만 주는 것. 이런 감사는 실행이 어디서 그 범위를 넘었는지 보여 줘요.

내 차례

audit(steps, workspace, plan, hosts)를 쓰세요. 각 단계는 "tool"(read, write, run, fetch)과 "path", "cmd", "url" 중 하나를 가진 dict예요. 단계 순서대로 (step_index, flag)의 리스트를 반환하고, 단계마다 표시는 많아야 하나예요. read/write: 경로를 posixpath.join으로 workspace에 붙이고(절대 경로는 그대로 남아요) posixpath.normpath로 정규화하세요. 결과가 workspace 자체도 아니고 그 안도 아니면(폴더 경계 기준이라, /work/shopfront는 /work/shop 밖이에요) "outside"로 표시하세요. 그렇지 않고 정규화한 경로가 (workspace 기준 상대 경로를 같은 방식으로 정규화한) plan 경로 중 하나가 아닌 write는 "unplanned"예요. run: 연속된 공백을 하나로 줄이고, (주어진) DANGEROUS 중 하나라도 포함하면 "dangerous"로 표시하세요. fetch: URL의 호스트 이름(urlsplit(url).hostname, 소문자)이 hosts에 없으면 "unknown_host"로 표시하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.