Chương trình học Bài 216 trên tổng số 250 · Dự án: Customer Support Copilot
Dự án: Customer Support Copilot

Đánh giá Trợ lý (P@k + Answer Accuracy + Gate)

Đây là bài học giúp bạn ghi điểm cho nửa sau của dòng kinh nghiệm trong CV: và đánh giá. Ai cũng có thể kết nối một bản demo RAG. Điều phân biệt một lập trình viên junior với người mà bạn sẽ thuê để quản lý một trợ lý sản xuất là khả năng đo lường nó và ngăn chặn một thay đổi tệ bị đưa vào sản phẩm. Bạn sẽ xây dựng khung đánh giá và cổng kiểm soát hồi quy.

Bạn đánh giá dựa trên gold set: một danh sách nhỏ có nhãn nơi mỗi trường hợp có một câu hỏi, các id của các bài báo liên quan, và văn bản câu trả lời mong đợi. Hai nhóm chỉ số:

  • Chất lượng truy xuất -- precision_at_k: trong số k kết quả đầu tiên mà retriever của bạn trả về, có bao nhiêu phần là liên quan. Điều này cho bạn biết liệu bot có đang xem đúng các bài viết hay không.
  • Chất lượng câu trả lời -- độ chính xác của câu trả lời so với văn bản mong đợi, ở hai chế độ: contains (đoạn mã mong đợi xuất hiện trong câu trả lời, không phân biệt chữ hoa chữ thường) và exact (khớp chính xác sau khi cắt bỏ khoảng trắng). contains là chế độ linh hoạt và thực tế hơn cho các câu trả lời tự do.

Xây dựng những thứ này:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: tỷ lệ các id đầu tiên được k lấy ra nằm trong tập hợp liên quan; 0.0 cho một lần lấy ra trống. answer_accuracy: 1.0 hoặc 0.0 cho một dự đoán, tuân thủ chế độ.

evaluate(config) kết nối mọi thứ lại với nhau. Từ điển config chứa gold list, một retriever function (query -> ranked ids), một answerer function (query -> text), và các cài đặt k và mode. Chạy mọi gold case và trả về một dict với ít nhất n (số lượng cases được tính điểm), precision_at_k (trung bình trên các cases, làm tròn đến 4 chữ số), và answer_accuracy (trung bình, làm tròn đến 4 chữ số). Một empty gold set không được làm treo chương trình -- hãy trả về các số không.

regression_gate(old, new) là chốt chặn CI mà bạn sẽ kết nối vào một pull request: chỉ trả về True nếu lần chạy mới không tệ hơn trên chỉ số bị kiểm soát (mặc định là answer_accuracy) -- bằng hoặc tốt hơn đều được, một sự sụt giảm sẽ trả về False. Đây là thứ giúp ngăn chặn một thay đổi prompt làm giảm chất lượng một cách âm thầm trong thực tế. Nhấn Run để chấm điểm một bot hoàn hảo và một bot bị lỗi rồi xem chốt chặn ngăn chặn sự thụt lùi.

Đến lượt bạn

Xây dựng bộ khung đánh giá trên một tập dữ liệu chuẩn có nhãn. precision_at_k(retrieved, relevant, k) cho việc truy xuất và answer_accuracy(predicted, expected, mode) (contains / exact) cho các câu trả lời. evaluate(config) chạy tập dữ liệu chuẩn (với các hàm retriever và answerer, k, mode) và trả về một dict metrics của các giá trị trung bình (n, precision_at_k, answer_accuracy), an toàn khi trống. regression_gate(old, new) chỉ trả về True nếu độ chính xác của câu trả lời không bị giảm.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.