LLM làm giám khảo (dựng tiêu chí + phân tích kết luận)
Exact-match, F1 và ROUGE đều cần một câu trả lời chuẩn để so sánh. Nhưng với các đầu ra mở, "lời giải thích này có rõ không?", "giọng điệu có chuyên nghiệp không?", không có một chuỗi đúng duy nhất. Câu trả lời có thể mở rộng mà ngành đã chọn là LLM làm giám khảo: bạn đưa cho một mô hình thứ hai câu trả lời cộng một bộ tiêu chí và yêu cầu nó chấm từng tiêu chí. Trên một bộ tiêu chí được đặc tả tốt, nó thường đạt mức đồng thuận 80-90% với người chấm, nhưng con số này thay đổi nhiều theo tác vụ và có thể giảm mạnh ở các trường hợp tinh tế hay đối kháng, nên hãy coi mọi con số đơn lẻ là riêng cho tác vụ chứ không phải một quy luật. Dù vậy, nó thường đủ nhất quán để chạy trên hàng nghìn đầu ra mỗi đêm, miễn là bạn định kỳ kiểm tra ngẫu nhiên nó với nhãn của con người.
Đây là phần thẳng thắn, và là lý do bài này chấm được. Việc chấm điểm thật của giám khảo là một lệnh gọi mô hình, và các lệnh gọi mô hình không có tính quyết định, nên ta không bao giờ chấm chúng. Thứ bạn thiết kế, và thứ bạn được chấm, là khung có tính quyết định bao quanh lệnh gọi: dựng prompt cho giám khảo và phân tích kết luận trở ra. Trong môi trường thật, bước ở giữa là một lệnh gọi thật:
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)WebLLM trên thiết bị trong khóa học này có thể đóng vai giám khảo trực tiếp trong trình duyệt, nhưng các bài kiểm tra không bao giờ phụ thuộc vào nó. Chúng kiểm tra prompt bạn dựng và bộ phân tích bạn viết.
Prompt phải ghim chặt giám khảo: nêu vai trò, liệt kê các tiêu chí có đánh số, cho xem câu trả lời, và đòi một kết luận máy đọc được để bạn phân tích. Mẹo chuẩn là ép một dòng cho mỗi tiêu chí theo một hình dạng cố định, ở đây là score: N/5:
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.Phân tích khi đó là một lượt quét regex cho mọi dòng score: N/5 (không phân biệt hoa thường), lấy ra các số nguyên. Tổng hợp biến một list điểm thành một trung bình và một tỷ lệ qua: tỷ lệ các điểm bằng hoặc trên một ngưỡng. Tỷ lệ qua là thứ bạn đặt cảnh báo; một câu trả lời tệ trong một lô là nhiễu, một tỷ lệ qua đang trượt dần là một lần thoái lui.
Cần xây gì.
build_judge_prompt(answer, rubric)-> một chuỗi prompt chứa từng mục tiêu chí có đánh số, câu trả lời, và một chỉ thịscore: N/5.parse_judge_scores(text)-> list các số nguyên từ mọi dòngscore: N/5, theo thứ tự, không phân biệt hoa thường.aggregate(scores, threshold=3)->{"mean", "pass_rate"}(cả hai đượcroundtới 4 chữ số); một list rỗng trả về các số không.
Bấm Chạy để dựng một prompt giám khảo, phân tích một kết luận mẫu, và tổng hợp.
Viết build_judge_prompt(answer, rubric) trả về một chuỗi prompt chứa mọi mục tiêu chí có đánh số, văn bản câu trả lời, và một chỉ thị yêu cầu trả lời score: N/5 cho mỗi mục. Viết parse_judge_scores(text) trả về list các số nguyên từ mọi dòng score: N/5 theo thứ tự (không phân biệt hoa thường). Viết aggregate(scores, threshold=3) trả về {'mean', 'pass_rate'} làm tròn tới 4 chữ số, trong đó pass_rate là tỷ lệ các điểm >= threshold và một list rỗng trả về các số không.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.