Lập kế hoạch + Điều kiện dừng vòng lặp
Một agent có thể hành động thì cũng có thể hành động mãi mãi. Cách số một một agent thật đốt tiền và đánh thức một kỹ sư trực là một vòng lặp không có phanh: nó cứ gọi cùng một công cụ, nhận cùng một quan sát, và không bao giờ quyết định là đã xong. Bài này thêm hai thứ khiến một agent an toàn để thật sự chạy: một bộ lập kế hoạch tí hon chia một mục tiêu thành các tác vụ con có thứ tự, và một chốt chặn vòng lặp dừng agent trước khi nó quay mất kiểm soát.
Trước hết, lập kế hoạch. decompose(goal) biến một mục tiêu một dòng thành một list tác vụ con được đánh số. Ta giữ nó tất định và dựa trên quy tắc (trong vận hành LLM làm việc này, nhưng hình dạng mới là điều quan trọng): tách mục tiêu theo từ "then", cắt khoảng trắng mỗi mảnh, và đánh số từ 1.
decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]Giờ đến chốt chặn. run_with_guard(policy, state, max_steps) điều khiển một chính sách từng bước, nhưng nó từ chối chạy mất kiểm soát. Một chính sách ở đây là một hàm policy(state) -> action (một chuỗi nêu tên hành động nó muốn làm); áp dụng một hành động chỉ là nối nó vào một list lịch sử. Chốt chặn dừng vì một trong ba lý do và báo lý do nào:
- đã xong: chính sách trả về hành động
"done"-> dừng với lý do"done". - không tiến triển: chính sách trả về cùng một hành động hai lần liên tiếp -> dừng với lý do
"repeat". Đây là tín hiệu kinh điển của việc kẹt trong vòng lặp: agent không học từ các quan sát của nó. - ngân sách: nó chạm
max_stepsmà chưa xong -> dừng với lý do"max_steps".
def run_with_guard(policy, state, max_steps):
history = []
for _ in range(max_steps):
action = policy(state)
if action == "done":
return {"history": history, "reason": "done"}
if history and action == history[-1]:
return {"history": history, "reason": "repeat"}
history.append(action)
# let the policy advance its own state here
...
return {"history": history, "reason": "max_steps"}Trả về một dict {"history": [...], "reason": ...}. Phép kiểm tra "repeat" là thứ cứu bạn: một chính sách lỗi hay bối rối cứ phát ra "search" mãi sẽ bị dừng ở hành động giống hệt thứ hai, kèm một lý do bạn ghi log và cảnh báo được. Một chính sách cư xử tốt có tiến triển rồi nói "done" sẽ kết thúc gọn gàng trong ngân sách của nó. Bộ chấm kiểm tra một chính sách lặp vòng dừng với "repeat", một chính sách chạy mất kiểm soát chạm "max_steps", và một chính sách tốt kết thúc với "done", cộng việc decompose đánh số đúng. Nhấn Chạy để xem cả ba kết cục.
Viết decompose(goal): split goal trên " then ", strip mỗi phần, và return chúng dưới dạng "1. part", "2. part", ... Sau đó viết run_with_guard(policy, state, max_steps) nơi policy(state) return một action string. Chạy policy lên đến max_steps lần và return {"history": [...], "reason": ...}: stop với lý do "done" khi action là "done"; stop với lý do "repeat" khi một action bằng với action ngay trước đó (no-progress); stop với lý do "max_steps" nếu budget hết. Append mỗi action được chấp nhận vào history.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.