Lập kế hoạch, Phản hồi & Lập kế hoạch lại
Một vòng lặp ReAct đơn lẻ là ổn cho một lần gọi công cụ, nhưng các tác vụ thực tế có các bước: nghiên cứu một chủ đề, sau đó tóm tắt; đặt vé máy bay, rồi đặt khách sạn. Một agent giỏi không tự ứng biến từng hành động một. Nó tạo ra một kế hoạch, thực hiện theo đó, và phản hồi sau mỗi bước để quyết định nên tiếp tục, điều chỉnh hướng đi, hay dừng lại. Chu kỳ kế hoạch-hành động-phản hồi đó là thứ giúp một agent hoàn thành một tác vụ dài mà không bị lạc hướng.
1. Chia nhỏ mục tiêu thành một kế hoạch
Lập kế hoạch nghĩa là biến một mục tiêu mơ hồ thành một danh sách các nhiệm vụ con có thứ tự. Trong sản xuất, mô hình sẽ viết kế hoạch này; ở đây chúng ta làm cho nó mang tính xác định và dựa trên từ khóa để có thể kiểm thử. Cùng một ý tưởng, đầu ra được cố định:
def decompose(goal):
g = goal.lower()
if "research" in g or "report" in g:
return ["gather sources", "extract facts", "write summary"]
elif "trip" in g or "travel" in g:
return ["pick dates", "book flights", "book hotel"]
return ["understand goal", "do the work", "review result"]2. Suy ngẫm về kết quả của mỗi bước
Sau khi một subtask chạy xong, agent sẽ xem kết quả và đưa ra quyết định control decision. Chúng ta cung cấp cho nó một dict kết quả nhỏ {"ok": bool, "last": bool} (bước đó có thành công không, và đó có phải là bước cuối cùng không) và ba quyết định khả thi:
"replan"- bước failed. Những gì chúng ta thử đều không hiệu quả, nên kế hoạch hiện tại đáng nghi vấn."done"- bước đã thành công và đó là bước cuối cùng. Mục tiêu đã đạt được."continue"- nó đã thành công nhưng vẫn còn việc phải làm. Chuyển sang nhiệm vụ phụ tiếp theo.
Thứ tự rất quan trọng: một lỗi đồng nghĩa với "replan" ngay cả ở bước cuối cùng (một bước cuối bị lỗi không phải là "done").
3. Lập kế hoạch lại một lần khi thất bại
Bộ điều khiển kết nối mọi thứ lại với nhau. Nó chạy theo kế hoạch, gọi execute(subtask) cho mỗi bước, đánh dấu xem đó có phải bước cuối không, và phản hồi. Trên "continue" nó tiến lên; trên "done" nó dừng lại thành công; trên "replan" nó xây dựng một kế hoạch phục hồi mới và bắt đầu lại từ đầu - nhưng chỉ tối đa max_replans lần, vì vậy một nhiệm vụ vô vọng không thể lặp vô tận (kỷ luật loop-guard từ trước đó). Khi hết các kế hoạch dự phòng, nó sẽ dừng lại với "failed".
def replan(goal, failed_step):
# retry the failed step, then still do every step that came after it
base = failed_step[len("retry: "):] if failed_step.startswith("retry: ") else failed_step
plan = decompose(goal)
rest = plan[plan.index(base) + 1:] if base in plan else []
return ["retry: " + base] + restexecute là một bản giả lập ở đây - một hàm bạn truyền vào để trả về {"ok": ...} cho một nhiệm vụ con - thay thế cho các lệnh gọi công cụ thật để bộ điều khiển hoàn toàn mang tính xác định và có thể kiểm thử được. Trong một agent thực tế, bộ điều khiển tương tự sẽ điều khiển các công cụ thật và một kế hoạch do model viết mà không thay đổi logic của nó. Nhấn Run để xem một kế hoạch thành công, sau đó xem một cái thất bại ở một bước và phục hồi khi lập kế hoạch lại.
Xây dựng một bộ điều khiển lập kế hoạch. Viết decompose(goal) trả về danh sách các công việc con đã sắp xếp (research/report -> ["gather sources", "extract facts", "write summary"]; trip/travel -> ["pick dates", "book flights", "book hotel"]; còn lại -> ["understand goal", "do the work", "review result"]). Viết reflect(step_result) trên {"ok", "last"} trả về "replan" nếu không ổn, nếu là bước cuối thì trả về "done", còn không thì trả về "continue". Viết replan(goal, failed_step) -> một kế hoạch phục hồi thử lại bước bị lỗi và sau đó vẫn thực hiện mọi bước tiếp theo trong decompose(goal): đối với mục tiêu research bị lỗi tại "extract facts", ["retry: extract facts", "write summary"]. (Một kế hoạch phục hồi bỏ qua các việc còn lại và báo "done" là lỗi agent kinh điển: bản tóm tắt chưa bao giờ được viết.) Nếu failed_step bản thân nó là một lần thử lại, hãy loại bỏ tiền tố "retry: " trước để không bị lặp lại. Sau đó viết run_plan(goal, execute, max_replans=1) để duyệt qua kế hoạch, gọi execute(subtask) (trả về {"ok": bool}), phản hồi (bạn thiết lập last), ghi lại dấu vết (subtask, ok, decision), lập kế hoạch lại tối đa max_replans lần khi thất bại (bắt đầu lại kế hoạch phục hồi từ bước đầu tiên), và trả về {"status": "done"|"failed", "trace": [...], "replans": int}.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.