Đánh giá prompt (độ chính xác trên một tập chuẩn)
"Prompt mới có vẻ tốt hơn" không phải là một câu trả lời. Để biết chắc, bạn giữ một tập chuẩn (gold set): các đầu vào đi cặp với các đầu ra đúng mà bạn tin. Bạn chạy prompt trên các đầu vào, so sánh mỗi dự đoán với câu trả lời chuẩn của nó, và báo cáo một con số. Con số đó là cách bạn so sánh prompt v1 với v2 mà không tự lừa mình.
Bạn sẽ xây bộ chấm điểm. score_prediction(pred, gold) trả về 1.0 khi khớp và 0.0 nếu không, so sánh không phân biệt hoa thường và bỏ qua khoảng trắng xung quanh, vì "Yes", "yes", và " yes " trong thực tế đều là cùng một câu trả lời.
evaluate(predictions, golds) đi qua hai list song song, chấm điểm từng cặp, và trả về một bản tóm tắt:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}Làm tròn accuracy tới 4 chữ số. Làm cho tập rỗng an toàn: không có câu trả lời chuẩn nào thì trả về {"accuracy": 0.0, "correct": 0, "total": 0} thay vì chia cho không, vì các tập đánh giá bị lọc bớt và bạn không muốn bộ khung đánh giá sập trên một lát cắt rỗng.
Một trong các bài kiểm tra ẩn chạy evaluate của bạn trên 50 tập dự đoán/chuẩn sinh ngẫu nhiên và so sánh nó với một bản tham chiếu được tính trong bài kiểm tra. Một bảng tra các trường hợp nhìn thấy được sẽ không sống sót qua đó, và đó chính là mục đích: bạn đang xây một bộ chấm điểm thật, không phải học thuộc đáp án. Nhấn Chạy để chấm điểm.
Viết score_prediction(pred, gold) trả về 1.0 nếu hai cái khớp khi bỏ qua hoa thường và khoảng trắng xung quanh, nếu không thì 0.0. Viết evaluate(predictions, golds) trả về {"accuracy", "correct", "total"} trên các list đi cặp, với accuracy làm tròn tới 4 chữ số và một tập rỗng trả về toàn số không (không sập).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.