Chương trình học Bài 170 trên tổng số 250 · Đánh giá và kiểm thử LLM
Đánh giá và kiểm thử LLM

Một cổng chặn thoái lui cho prompt

Bạn đã có các bộ chấm (exact match, F1, một LLM giám khảo). Mảnh cuối cùng biến chúng thành một cổng: một quyết định có/không mà CI của bạn chạy trên mỗi thay đổi prompt để một "chỉnh sửa nhỏ" không bao giờ có thể lặng lẽ làm mọi thứ tệ đi. Đây là khác biệt giữa đo chất lượng và bảo vệ nó.

("Thoái lui" ở đây nghĩa là một thay đổi theo hướng tệ hơn, theo nghĩa phần mềm thường ngày, không phải kỹ thuật hồi quy trong mô-đun học máy.)

Bạn so sánh hai lượt chạy trên CÙNG một tập đánh giá: mốc (prompt đang chạy thật) và ứng viên (thay đổi của bạn), dưới dạng hai list điểm từng ví dụ trong [0, 1]. Cổng chặn thay đổi trừ khi nó vượt qua ba mức:

  • Không giảm tổng thể: điểm trung bình của ứng viên ít nhất bằng trung bình của mốc (một dung sai rất nhỏ hấp thụ nhiễu).
  • Ít thất bại mới: số ví dụ mà ứng viên được điểm tệ hơn mốc nằm trong một ngân sách (một chiến thắng lớn không được che giấu vài lần thoái lui âm thầm).
  • Một mức sàn: một trung bình tối thiểu tuyệt đối, nếu bạn đặt.

Xây regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) trả về một dict báo cáo với baseline_mean, candidate_mean, delta (ứng viên trừ mốc), regressions (số chỉ số có candidate[i] < baseline[i] - 1e-9), và passed (một bool, True chỉ khi vượt qua TẤT CẢ các mức). Hai list có cùng độ dài. Bấm Chạy để đưa một prompt ứng viên qua cổng.

Đến lượt bạn

Viết regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) trên hai list điểm từng ví dụ cùng độ dài. Trả về {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} trong đó delta = candidate_mean - baseline_mean, regressions đếm các chỉ số có candidate[i] < baseline[i] - 1e-9, và passed là True chỉ khi candidate_mean >= baseline_mean - tol VÀ regressions <= max_regressions VÀ (min_mean is None hoặc candidate_mean >= min_mean).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.