Chương trình học Bài 175 trên tổng số 250 · Xây dựng Agents (Tool-Use & ReAct)
Xây dựng Agents (Tool-Use & ReAct)

Bộ nhớ của Agent và Tích lũy Trạng thái

Vòng lặp ReAct bạn xây dựng đang bị mất trí nhớ: mỗi bước gọi một công cụ rồi quên mất. Một agent thực thụ phải mang theo những gì nó đã học được - các sự thật nó đã tra cứu, các kết quả mà công cụ trả về - để các bước sau có thể sử dụng chúng. Cuốn notebook đang chạy đó chính là bộ nhớ của agent (mọi người cũng gọi nó là scratchpad hoặc working context). Mã của bạn sở hữu nó; mô hình không bao giờ sở hữu nó.

Nhưng ngữ cảnh không hề miễn phí. Mọi thứ trong bộ nhớ đều được nhồi lại vào prompt ở bước tiếp theo, và mô hình có một context window cố định được đo bằng tokens. Nếu bộ nhớ cứ lớn mãi, cuối cùng bạn sẽ làm tràn cửa sổ (và phải trả tiền cho mỗi token ngoài ra). Vì vậy bộ nhớ cần hai nửa: accumulate các sự thật mới khi bạn tiến hành, và trim về mức ngân sách khi nó quá lớn.

Hình dạng của nó

State là một dict: một ghi chú system cố định (các hướng dẫn cố định của agent, bạn không bao giờ bỏ đi) và một danh sách các facts mà nó đã thu thập:

state = {"system": "You are a research agent.", "facts": []}

Mỗi quan sát trở thành một dòng sự kiện. Sau khi một công cụ chạy xong bạn sẽ thêm vào một bản ghi dễ đọc về những gì đã xảy ra:

state["facts"].append(f"{tool}({args}) -> {observation}")

Cắt bớt cho phù hợp với ngân sách token

Các bộ tokenizer thực tế được học và dựa trên subword; chúng ta không thể chạy một bộ ở đây, vì vậy chúng ta ước tính một token là một từ có khoảng trắng (len(text.split())) - cùng một mẹo như module LLM. (Trong thực tế bạn sẽ sử dụng số lượng subword thật từ trường usage của API, hoặc quy tắc ước tính len(text) / 4 ký tự; ước tính khoảng trắng chỉ giúp bài tập này mang tính xác định.) Quy tắc cắt bỏ phản ánh những gì các agent thực tế làm: luôn giữ ghi chú hệ thống, sau đó giữ càng nhiều sự kiện mới nhất càng tốt trong phần còn lại của ngân sách. Tính mới quan trọng hơn vì các kết quả mới nhất thường là những thứ bước tiếp theo cần.

budget = max_tokens - est_tokens(state["system"])
# walk facts newest-first, keep while they fit, then stop

Duyệt qua các sự kiện từ mới nhất đến cũ nhất, cộng dồn chi phí token của mỗi sự kiện cho đến khi sự kiện tiếp theo làm vượt quá ngân sách, rồi dừng lại. Đảo ngược lại để các sự kiện được giữ lại nằm đúng thứ tự ban đầu. Nếu ngân sách quá nhỏ bạn có thể giữ không có sự kiện nào, nhưng ghi chú hệ thống luôn được giữ lại.

Trong một agent chạy trực tiếp, mô hình sẽ đọc render(state) ở đầu mỗi bước và chu kỳ tích lũy-rồi-cắt đó sẽ chạy sau mỗi lần gọi tool, vì vậy cửa sổ sẽ không bao giờ bị tràn. Người hướng dẫn trên thiết bị có thể điều khiển vòng lặp này, nhưng việc chấm điểm chỉ kiểm tra trạng thái xác định. Nhấn Run để tích lũy một bản ghi ngắn và xem các thông tin cũ nhất bị loại bỏ dưới một ngân sách hạn chế.

Đến lượt bạn

Xây dựng bộ nhớ của agent. Viết new_state(system_note) -> {"system": note, "facts": []}; record(state, tool, args, observation) cái mà thêm dòng sự kiện "<tool>(<args>) -> <observation>" và trả về trạng thái; est_tokens(text) -> số lượng token khoảng trắng; và trim(state, max_tokens) cái mà giữ ghi chú hệ thống cộng với các sự kiện gần nhất có số lượng token (ghi chú hệ thống tính vào ngân sách) vừa với max_tokens. Sau đó viết accumulate(system_note, transcript, max_tokens): bắt đầu một trạng thái mới, record mỗi (tool, args, observation) bước theo thứ tự, trim một lần ở cuối, và trả về trạng thái đã cắt tỉa.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.