Chương trình học Bài 233 trên tổng số 250 · Dự án: Agent Nghiên cứu Sử dụng Công cụ
Dự án: Agent Nghiên cứu Sử dụng Công cụ

Đánh giá Agent Trace

Phần cuối cùng của dự án là phần hay bị bỏ qua nhất nhưng lại quan trọng nhất trong CV: evaluation. Ai cũng có thể kết nối một agent hoạt động được trong bản demo. Kỹ sư được tuyển dụng là người có thể chứng minh nó hoạt động, phát hiện khi nó làm sai một cách âm thầm, và xử lý lỗi mượt mà khi nó không thể trả lời. Bạn sẽ chấm điểm trace mà agent của bạn tạo ra và thêm một fallback cho khi nó bỏ cuộc.

Nhớ lại trace từ bài học 2: một danh sách có thứ tự các tuple (thought, tool, args, observation). Để chấm điểm một lần chạy, bạn so sánh những gì agent thực sự đã làm với những gì nó đáng lẽ phải làm.

Viết score_run(trace, expected_tools, expected_answer) trả về một dict với ba trường:

  • "tools_ok": liệu agent có dùng đúng công cụ theo đúng thứ tự không? Lấy tên công cụ từ mỗi bước và so sánh chuỗi với expected_tools. Một công cụ sai hoặc thiếu sẽ làm cho False. Đây là cách bạn bắt được một agent đạt đến đáp án đúng bằng con đường sai (cái mà sẽ bị lỗi ở đầu vào tiếp theo).
  • "answer_ok": bước cuối cùng có tạo ra câu trả lời đúng không? Câu trả lời cuối cùng là kết quả quan sát của bước cuối. Hãy so sánh nó với expected_answer. Một lần chạy không bao giờ tạo ra câu trả lời (trace trống) là answer_ok = False.
  • "steps": số bước mà quá trình chạy đã thực hiện (len(trace)) -> tín hiệu chi phí/độ trễ của bạn.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

Sau đó là mạng lưới an toàn. answer_or_fallback(trace) chạy trên các yêu cầu thực tế, nơi không ai biết câu trả lời đúng, nên nó không thể so sánh với một câu trả lời (đó là việc score_run làm ngoại tuyến, trên tập kiểm tra của bạn). Nó chỉ tin tưởng một lần chạy khi bước cuối cùng là bước finish với một câu trả lời thật, và nếu không nó sẽ trả về chuỗi cố định "unable to answer": một lần chạy chạm giới hạn bước, dừng ở một tìm kiếm, hoặc kết thúc ở "not found". Trong sản xuất đây là thứ bạn trả về cho người dùng thay vì một sự ảo tưởng hoặc một stack trace.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

Bộ chấm điểm sẽ nhận vào một lần chạy đúng (mọi thứ True), một lần chạy sử dụng sai công cụ (tools_ok là False nhưng câu trả lời vẫn có thể khớp), và một lần chạy không có câu trả lời (answer_ok là False), cộng với các vết chạy ngẫu nhiên so với tham chiếu nội bộ để không có bộ chấm điểm cố định nào lọt qua. Hãy đạt được màu xanh này và tiêu đề sẽ tự viết ra: xây dựng một agent ReAct sử dụng công cụ với các chốt vòng lặp và đánh giá vết chạy. Nhấn Run.

Đến lượt bạn

Viết score_run(trace, expected_tools, expected_answer) trên một trace của các tuple (thought, tool, args, observation), trả về {"tools_ok", "answer_ok", "steps"}: tools_ok là liệu chuỗi tên công cụ có bằng expected_tools hay không; answer_ok là liệu quan sát của bước cuối có bằng expected_answer hay không (False cho một trace trống); steps là len(trace). Sau đó viết answer_or_fallback(trace), kiểm tra bạn chạy trên một yêu cầu trực tiếp, nơi không có câu trả lời mong đợi: chỉ trả về quan sát cuối cùng khi bước cuối là một bước "finish" và quan sát của nó không phải là None cũng không phải là "not found"; nếu không thì trả về chuỗi "unable to answer". (score_run dành cho bộ kiểm tra ngoại tuyến của bạn, nơi bạn biết các câu trả lời; answer_or_fallback dành cho môi trường production, nơi bạn không biết.)

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.