Chương trình học Bài 141 trên tổng số 250 · Đầu ra có cấu trúc và gọi hàm/công cụ
Đầu ra có cấu trúc và gọi hàm/công cụ

Bộ điều phối / định tuyến công cụ

Mô hình đã đọc các schema công cụ của bạn và trả lời bằng một lệnh gọi công cụ: một đối tượng đã phân tích như {"name": "add", "arguments": {"a": 4, "b": 5}}. Giờ chương trình của bạn phải thật sự chạy đúng hàm. Đó là việc của một bộ điều phối (hay bộ định tuyến): tra công cụ được nêu tên, kiểm tra các đối số đúng chính xác là thứ hàm mong đợi, gọi nó, và trả kết quả về. Đây là ranh giới nơi lời nói của một LLM trở thành một tác dụng phụ thật trong hệ thống của bạn, nên đây cũng là nơi bạn phải nghiêm ngặt.

Trong một vòng lặp thật, nó nằm ngay sau việc phân tích câu trả lời của mô hình:

call = parse_tool_call(model_reply)        # {"name": ..., "arguments": {...}}
result = dispatch(call, TOOL_REGISTRY)     # runs the matching Python function
# feed result back to the model as the tool's observation

Bạn đang xây dispatch(call, registry), trong đó registry ánh xạ tên công cụ tới các hàm Python. Nó phải:

  • Đọc call["name"] và call["arguments"] (đối số mặc định là {}).
  • Từ chối một công cụ không xác định. Nếu tên không có trong registry, báo một ValueError -> không bao giờ lặng lẽ không làm gì, và không bao giờ chạy một công cụ mà mô hình ảo giác ra.
  • Kiểm tra các đối số. Dùng inspect.signature để lấy tên các tham số của hàm và xác nhận các khóa đối số được cung cấp khớp chính xác -> một đối số bị thiếu hay một đối số thừa không mong đợi đều phải báo lỗi.
  • Gọi và trả về. Gọi hàm bằng func(**arguments) và trả về kết quả của nó.
import inspect
expected = set(inspect.signature(func).parameters)
if set(arguments) != expected:
    raise ValueError("bad arguments")
return func(**arguments)

Vì sao nghiêm ngặt với đối số như vậy? Một lệnh gọi công cụ chạy với đối số sai hoặc sập sâu bên trong hàm của bạn hoặc, tệ hơn, lặng lẽ làm sai. Thất bại rõ ràng ở ranh giới chính là toàn bộ mục đích. Xây nó sao cho hai công cụ khác nhau (giả sử một máy tính và một phép tra cứu) mỗi cái trả về kết quả riêng, một công cụ không xác định thì báo lỗi, và cả đối số bị thiếu lẫn đối số thừa đều báo lỗi.

Đến lượt bạn

Viết dispatch(call, registry) trong đó call là {"name": ..., "arguments": {...}} và registry ánh xạ tên tới hàm. Báo lỗi với một tên công cụ không xác định. Dùng inspect.signature để xác nhận mọi tham số bắt buộc đều có mặt và không có đối số thừa không mong đợi (một tham số có mặc định là tùy chọn, nên bỏ nó đi là ổn). inspect.signature(func).parameters ánh xạ mỗi tên tới một đối tượng tham số p; p.default is inspect.Parameter.empty là True đúng khi tham số không có mặc định, nên nó là bắt buộc, rồi gọi func(**arguments) và trả về kết quả. Hai công cụ khác nhau phải mỗi cái trả về kết quả riêng.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.