Chương trình học Bài 238 trên tổng số 250 · Dự án: Prompt Evaluation CI
Dự án: Prompt Evaluation CI

Cổng Hồi quy

Đây là phần cuối cùng, và là dòng trên sơ yếu lý lịch của bạn: xây dựng bộ khung prompt-eval + cổng kiểm soát hồi quy. Bạn đã có các bộ chấm điểm (bài 1) và bộ phân tích giám khảo (bài 2). Bây giờ bạn kết nối phần giúp nó CI: một cổng chạy mỗi khi thay đổi prompt và chặn việc merge nếu chất lượng giảm xuống. Đây là thứ ngăn chặn việc "chỉnh sửa nhỏ" của đồng đội làm giảm độ chính xác trong production một cách âm thầm -> người đánh giá tự động không bao giờ biết mệt.

Mô hình: bạn có một tập dữ liệu chuẩn, và hai phiên bản của một prompt, mỗi phiên bản tạo ra một danh sách các dự đoán trên tập đó. Độ chính xác ở đây đơn giản là tỷ lệ các dự đoán khớp chính xác với câu trả lời chuẩn (đã lược bỏ). Đầu tiên, hãy so sánh hai phiên bản:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, trong đó mỗi độ chính xác là tỷ lệ khớp chính xác với golds và delta là mức độ v2 thay đổi so với v1. Một delta dương nghĩa là ứng viên đã cải thiện; âm nghĩa là nó bị thụt lùi.

Tiếp theo là bản thân cái cổng. Trong CI bạn không chặn nhiễu -> một ngưỡng min_delta cho phép một ứng viên giảm xuống một lượng nhỏ có thể chấp nhận được (thường là 0.0, nghĩa là "không được tệ hơn") trước khi nó bị loại bỏ:

  • gate(baseline, candidate, min_delta) -> baseline và candidate mỗi cái là một (preds, golds) pair. Chấm điểm cả hai là exact-match accuracy, tính delta = candidate_acc - baseline_acc, và trả về {"pass": bool, "delta": delta, "report": str}. Cổng passes khi delta >= min_delta và fails nếu không.

report là một dòng ngắn gọn mà lập trình viên có thể đọc được trong CI log. Hãy làm cho nó nêu rõ kết quả và các con số, ví dụ như "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" hoặc một biến thể của FAIL: .... Các bài kiểm tra sẽ xác nhận rằng báo cáo bắt đầu bằng PASS hoặc FAIL khớp với giá trị boolean và đề cập đến cả hai độ chính xác, vì vậy cách diễn đạt chính xác là do bạn quyết định nhưng các sự thật phải có trong đó.

Cụ thể là: một baseline tại 0.8 và một ứng viên tại 0.6 với min_delta=0.0 -> delta -0.2, cổng fails, việc hợp nhất bị chặn. Đổi chỗ chúng và ứng viên cải thiện -> cổng passes. Giá trị boolean đơn lẻ đó là thứ bạn nối vào CI để biến "prompt có vẻ tốt hơn" thành "prompt chứng minh được là không tệ hơn, hoặc bản build bị đỏ." Nhấn Run để kiểm soát một sự cải thiện và một sự thụt lùi.

Đến lượt bạn

Xây dựng cổng kiểm tra hồi quy CI. Viết compare(v1_preds, v2_preds, golds) trả về {"v1", "v2", "delta"} với mỗi giá trị là độ chính xác khớp tuyệt đối (phân số các dự đoán bằng với gold đã loại bỏ) và delta = v2 - v1. Viết gate(baseline, candidate, min_delta) nhận vào hai cặp (preds, golds) và trả về {"pass": bool, "delta": float, "report": str}, vượt qua nếu delta >= min_delta. Báo cáo phải bắt đầu với PASS/FAIL (khớp với giá trị boolean) và đề cập cả hai độ chính xác, mỗi cái viết với ba chữ số thập phân ("%.3f", vì vậy 0.5 sẽ hiện là 0.500). Một sự thụt lùi phải trượt cổng; một sự cải thiện phải vượt qua.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.