Token-F1 và độ trùng khớp kiểu ROUGE
Exact-match rất khắc nghiệt với bất cứ thứ gì dài hơn một nhãn. Hỏi một mô hình "Who painted the Mona Lisa and when?" và câu chuẩn là "Leonardo da Vinci, around 1503". Mô hình nói "It was painted by Leonardo da Vinci in roughly 1503." Exact-match chấm câu đó điểm không. Rõ ràng đó là một câu trả lời tốt. Với câu trả lời dạng văn bản tự do, bạn cần chấm điểm từng phần, và hai công cụ chuẩn là token-F1 và ROUGE.
Token-F1 coi mỗi câu trả lời là một túi từ và hỏi chúng trùng nhau bao nhiêu. Viết thường, tách theo khoảng trắng, và so sánh hai tập token:
- precision = (token có ở cả hai) / (token trong dự đoán) -> phạt việc độn câu trả lời bằng rác.
- recall = (token có ở cả hai) / (token trong câu chuẩn) -> phạt việc bỏ sót các từ của câu chuẩn.
- F1 = trung bình điều hòa,
2 * P * R / (P + R)-> một con số trừng phạt việc yếu ở một trong hai phía.
Các chuỗi giống hệt được 1.0; các câu trả lời không chung từ nào được 0.0. Tự tính một cái: dự đoán "the cat ran", câu chuẩn "the dog sat". Token chung duy nhất là the, nên precision là 1/3, recall là 1/3, và F1 là 1/3.
ROUGE-N là thước đo dùng để chấm tóm tắt. Thay vì từng từ, nó đếm các n-gram trùng nhau (các chuỗi liền nhau gồm n token) và báo cáo recall: trong các n-gram của câu chuẩn, bao nhiêu xuất hiện trong dự đoán?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]Với câu chuẩn "the cat sat on" và dự đoán "the cat sat": bốn unigram của câu chuẩn là the, cat, sat, on; ba cái xuất hiện, nên ROUGE-1 là 3/4. Ba bigram của câu chuẩn là (the,cat), (cat,sat), (sat,on); hai cái xuất hiện, nên ROUGE-2 là 2/3. ROUGE-2 thường thấp hơn ROUGE-1 vì khớp thứ tự từ khó hơn khớp từ, đó chính là lý do bạn báo cáo cả hai.
Cần xây gì.
token_f1(pred, gold)-> F1 trên các tập token viết thường; trả về0.0nếu một trong hai phía rỗng hoặc không có trùng khớp (không bao giờ chia cho không).rouge_n(pred, gold, n)-> tỷ lệ các n-gram của câu chuẩn xuất hiện trong dự đoán;0.0khi câu chuẩn không có n-gram nào.
Khác biệt với thư viện. Để dạy, ta chấm trên các tập token, nên một từ lặp lại chỉ tính một lần. Token-F1 dùng thật (kiểu SQuAD) dùng số đếm đa tập, nên các bản trùng được tính trọng số, và ROUGE thật có thêm ROUGE-L, chấm theo dãy con chung dài nhất thay vì các n-gram cố định. Ý tưởng là như nhau; các phiên bản dùng thật chỉ đếm bản trùng và thứ tự từ cẩn thận hơn.
Bấm Chạy để chấm một dự đoán so với một tham chiếu.
Viết token_f1(pred, gold) tính F1 của hai tập token viết thường (precision = trùng khớp / token-dự-đoán, recall = trùng khớp / token-chuẩn, F1 = trung bình điều hòa), trả về 0.0 khi một trong hai phía rỗng hoặc không có trùng khớp. Viết rouge_n(pred, gold, n) trả về tỷ lệ các n-gram của câu chuẩn (các tuple n token liền nhau) xuất hiện trong dự đoán, trả về 0.0 khi câu chuẩn không có n-gram nào.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.