Đánh giá dựa trên khẳng định (exact-match và contains)
Bạn đổi prompt và đầu ra "có cảm giác tốt hơn." Cảm giác đó không phải là một kết quả. Nhiệm vụ của một bài đánh giá là thay nó bằng một con số bạn có thể đặt vào một pull request: prompt này được 0.86 trên tập chuẩn, prompt cũ được 0.74. Trước khi dùng tới thứ gì cầu kỳ, bài đánh giá chủ lực là cái rẻ nhất: lấy một tập đầu vào có nhãn với câu trả lời đúng đã biết, chạy hệ thống của bạn, và đếm xem nó đúng bao nhiêu.
Cái khó là quyết định "đúng" nghĩa là gì. Một LLM gần như không bao giờ trả về chuỗi chuẩn y từng byte. Nó thêm một dấu chấm, viết hoa một chữ, bọc câu trả lời trong một câu văn. Nên bạn chọn một chế độ khớp:
- exact -> dự đoán bằng câu trả lời chuẩn sau khi bạn chuẩn hóa (viết thường, bỏ khoảng trắng bao quanh). Dùng cho các câu trả lời ngắn, đóng: một nhãn, một có/không, một thành phố.
- contains -> câu trả lời chuẩn xuất hiện ở đâu đó bên trong dự đoán. Dùng khi mô hình được phép nói nhiều: "The capital is Paris." vẫn nên được tính là đúng với câu chuẩn
paris.
Chuẩn hóa là quan trọng. Thiếu nó, "Paris" và "paris" bị chấm là trượt và bài đánh giá nói dối bạn. Đây là hình dạng của một phép so sánh:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)Độ chính xác khi đó chỉ là trung bình của các điểm từng ví dụ đó. Trong một bộ đánh giá thật, predictions đến từ một lệnh gọi mô hình thật; ở đây bạn được chấm trên phép toán chấm điểm, phần phải đúng tuyệt đối. Hai phép kiểm tra nữa có mặt trong mọi bộ đánh giá có ý thức an toàn: một danh sách cho phép (mọi đầu ra phải là một trong một tập nhãn cố định) và một lượt quét mẫu bị cấm (không đầu ra nào được chứa một cụm bị cấm như "as an AI").
Cần xây gì.
evaluate(predictions, gold, mode)-> điểm exact-hoặc-contains trung bình trên hai list song song, đượcroundtới 4 chữ số. Một list rỗng trả về0.0, không bao giờ sập. BáoValueErrorvới một chế độ không xác định.label_in_set(outputs, allowed)->{"passed", "failed"}đếm bao nhiêu đầu ra đã strip nằm trong tậpallowed.has_forbidden(text, patterns)->Truenếu bất kỳ regex nào trongpatternsđược tìm thấy trongtext.
Bấm Chạy để chấm một tập chuẩn dưới cả hai chế độ.
Viết evaluate(predictions, gold, mode) trả về điểm trung bình trên hai list song song, trong đó mode là 'exact' (bằng nhau sau chuẩn hóa) hoặc 'contains' (câu chuẩn xuất hiện bên trong dự đoán); chuẩn hóa bằng strip().lower(), round độ chính xác tới 4 chữ số, trả về 0.0 với một tập rỗng, và báo ValueError với một chế độ không xác định. Cũng viết label_in_set(outputs, allowed) -> {'passed', 'failed'} đếm các đầu ra đã strip so với tập allowed, và has_forbidden(text, patterns) -> True nếu bất kỳ mẫu regex nào được tìm thấy trong text, không phân biệt hoa thường (để as an ai cũng bắt được "As an AI").
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.