LLM-as-Judge: Phân tích Rubric + Verdict
Khớp chính xác và token-F1 sụp đổ ngay khi câu trả lời trở nên mở. "Tóm tắt phiếu này" có cả nghìn câu trả lời tốt và không có một chuỗi chuẩn duy nhất. Cách giải quyết của ngành là LLM làm giám khảo (LLM-as-judge): bạn nhờ một mô hình thứ hai đọc câu trả lời theo một bảng tiêu chí (rubric) và trả về một phán quyết. Đó chính xác là cách các nhóm chấm chatbot, câu trả lời RAG, và bản ghi của agent ở quy mô lớn.
Đây là thực tế kỹ thuật, và là điều một người quản lý tuyển dụng thăm dò: giám khảo là một mô hình ngôn ngữ, nên câu trả lời của nó là văn bản tự do lộn xộn. Nó có thể nói VERDICT: PASS ở lần chạy này và Final verdict - fail ở lần sau, đôi khi kèm một đoạn lập luận trước. Phần mong manh của bất kỳ bộ khung giám khảo nào không phải là prompt, mà là bộ phân tích rút ra một kết quả gọn, máy dùng được từ văn bản đó. Nên trong bài này giám khảo được giả lập (không có mô hình thật, không có mạng) và bạn xây hai mảnh tất định quanh nó: prompt bảng tiêu chí và bộ phân tích phán quyết.
Xây prompt bảng tiêu chí. build_rubric(criteria) nhận một list các chuỗi tiêu chí và trả về một chuỗi prompt duy nhất cho giám khảo. Nó phải:
- chứa từ
Rubricđể giám khảo biết tác vụ, - liệt kê mọi tiêu chí trên một dòng riêng, đánh số từ 1 (
1. accuracy,2. clarity, ...), - và kết thúc bằng việc nói cho giám khảo hợp đồng đầu ra chính xác: một dòng
VERDICT: PASShoặcVERDICT: FAILvà một dòngSCORE: <0-10>. (Bạn đang định nghĩa định dạng mà chính bộ phân tích của bạn sẽ đọc.)
Xây bộ phân tích. parse_verdict(judge_text) quét câu trả lời thô của giám khảo và trả về {"verdict": "PASS" or "FAIL", "score": int}. Các quy tắc vững chắc mà đầu ra thật của giám khảo buộc bạn phải có:
- Hãy không phân biệt hoa thường:
pass,PASS, vàPassđều nghĩa là PASS. - Chỉ một phán quyết có nhãn mới tính:
VERDICT: PASS,verdict = fail,verdict - pass. Một chữ "pass" trơn trong phần lập luận không phải một quyết định: "VERDICT: FAIL. The fix would make it pass." là một FAIL, và "this does not pass" không bao giờ được tính là PASS. Khi giám khảo viết vài phán quyết có nhãn (nó đổi ý), cái cuối cùng thắng. - Một điểm số phải là một số nguyên từ 0 tới 10, khoảng mà bảng tiêu chí của bạn yêu cầu. Bỏ qua mọi thứ ngoài khoảng đó ("SCORE: 85" là giám khảo phá hợp đồng, không phải một câu trả lời tuyệt vời). Trong các điểm hợp lệ, cái cuối cùng thắng.
- Trả về một giá trị mặc định an toàn khi không tìm thấy gì hợp lệ: phán quyết
"FAIL"và điểm0. Một câu trả lời của giám khảo không phân tích được không bao giờ được lặng lẽ tính là đạt.
Tìm phán quyết bằng re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) và điểm số bằng re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), giữ các điểm từ 0 tới 10, rồi lấy cái cuối cùng của mỗi loại. Ta chỉ chấm bộ phân tích và bảng tiêu chí; lệnh gọi giám khảo thật chỉ là phần văn xuôi trong bài này, không bao giờ chạy trong các bài kiểm tra. Nhấn Chạy để phân tích vài câu trả lời của giám khảo.
Xây dựng phần xác định của một bộ khung LLM-as-judge (phần judge được giả lập). Viết build_rubric(criteria) trả về một chuỗi prompt chứa Rubric, đánh số mỗi tiêu chí từ 1 trên mỗi dòng, và nêu rõ hợp đồng đầu ra của VERDICT: PASS/FAIL + SCORE: <0-10>. Viết parse_verdict(judge_text) (điểm số có thể được viết là SCORE: 7, score=7 hoặc Score 7) trả về {"verdict": "PASS"|"FAIL", "score": int}: không phân biệt chữ hoa chữ thường, chỉ đếm các phán quyết có nhãn (VERDICT: PASS, verdict = fail, verdict - pass) và chỉ các điểm số từ 0 đến 10, lấy giá trị CUỐI CÙNG của mỗi loại, và mặc định là {"verdict": "FAIL", "score": 0} khi không có cái nào.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.