Chương trình học Bài 118 trên tổng số 250 · Gọi một LLM thực thụ
Gọi một LLM thực thụ

Gọi hàm song song & is_error

Bài học trước xử lý một lần gọi công cụ. Nhưng các mô hình hiện đại yêu cầu nhiều cái cùng lúc: việc sử dụng công cụ song song được bật mặc định, nên một lượt của trợ lý có thể chứa ba hoặc bốn tool_use khối ("lấy thời tiết VÀ tra cứu đơn hàng VÀ kiểm tra kho hàng"). Nếu mã của bạn chỉ chạy cái đầu tiên, mô hình sẽ đợi kết quả không bao giờ đến và lượt xử lý bị dừng lại.

"Parallel" ở đây mô tả REQUEST của mô hình, không phải việc thực thi của bạn: mô hình đã yêu cầu vài công cụ trong một lượt. Bạn chỉ cần chạy chúng lần lượt và gửi tất cả kết quả lại cùng lúc, không cần dùng threads hay async.

Hợp đồng rất rõ ràng: chạy mỗi tool_use block, sau đó gửi lại one tin nhắn người dùng mà content là một list của tool_result blocks, mỗi lần gọi một cái, mỗi cái phản hồi lại tool_use_id của chính nó.

{"content": [
  {"type": "tool_use", "id": "t1", "name": "get_weather", "input": {"city": "Paris"}},
  {"type": "tool_use", "id": "t2", "name": "add",         "input": {"a": 2, "b": 5}}],
 "stop_reason": "tool_use"}

Ý tưởng mới thứ hai là cô lập lỗi. Nếu một công cụ gặp lỗi, bạn KHÔNG làm sập toàn bộ lượt chạy và mất các kết quả khác. Bạn trả về tool_result của khối đó với "is_error": True và nội dung là văn bản lỗi, để mô hình có thể thấy lỗi gì và phục hồi. Một tên công cụ ảo (không có trong registry của bạn) chỉ là một lỗi khác: hãy báo cáo nó như is_error, đừng bao giờ chạy thứ mà bạn chưa đăng ký.

Xây dựng run_tool_calls(resp, tools) trả về tin nhắn tiếp theo duy nhất của người dùng. Khi thành công tool_result có chính xác type, tool_use_id, và content (kết quả qua str(...)); khi thất bại nó CŨNG chứa "is_error": True. Nhấn Run để trả lời một lượt hai lần gọi.

Đến lượt bạn

Viết run_tool_calls(resp, tools) để chạy MỌI khối tool_use trong resp["content"] (bỏ qua các loại khối khác) và trả về một tin nhắn người dùng {"role": "user", "content": [ ...tool_result blocks... ]}, mỗi lần gọi trả về một kết quả theo thứ tự. Mỗi kết quả thành công là {"type": "tool_result", "tool_use_id": <id>, "content": str(result)}. Nếu một công cụ gây lỗi hoặc tên của nó không có trong tools, kết quả đó thay vào đó sẽ mang "is_error": True với nội dung lỗi là content, và các công cụ khác vẫn chạy.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.