Bộ Vàng + Người tính điểm
Bạn vừa gửi một prompt mới và nó cảm thấy tốt hơn. Trưởng nhóm của bạn hỏi câu hỏi duy nhất quan trọng: tốt hơn bao nhiêu, và làm sao bạn biết được? "Cảm giác" không tồn tại trong quá trình code review. Nhiệm vụ là biến một khẳng định mơ hồ thành một con số mà bạn có thể bảo vệ, và nền tảng của mọi hệ thống prompt-eval là một gold set (một danh sách các đầu vào đi kèm với câu trả lời đúng đã biết) cộng với một scorer (một function cho biết câu trả lời của model gần với câu trả lời gold đến mức nào).
Đây là bài học 1 của dự án gồm ba phần. Kết thúc học phần này, bạn sẽ có một prompt-evaluation harness với CI regression gate -> loại công cụ mà nhà tuyển dụng thấy trên CV là "đã xây dựng prompt-eval harness + regression gate" và biết ngay bạn có thể triển khai các tính năng LLM một cách trách nhiệm. Hôm nay bạn sẽ xây dựng thước đo: ba scorers và runner để áp dụng một cái trên toàn bộ gold set.
Một lưu ý trung thực về phạm vi: phần harness và logic regression-gate bạn xây dựng ở đây là thật và có thể chuyển đổi, nhưng model judge được giả lập và "accuracy" ở đây là khớp chính xác. Trong một dự án thực tế, bạn sẽ kết nối các phần tương tự này với một live judge model và các scorers phong phú hơn.
Các tác vụ khác nhau cần các bộ chấm điểm khác nhau, vì vậy bạn hãy xây dựng ba bộ:
score_exact(pred, gold)->1.0nếu kết quả dự đoán bằng với đáp án chuẩn sau khi thực hiện.strip()trên cả hai, nếu không thì0.0. Đây là lời gọi đúng cho một bộ phân loại ("positive" so với "negative") nơi chỉ có sự khớp chính xác mới được tính.score_contains(pred, gold)->1.0nếu chuỗi vàng xuất hiện ở bất kỳ đâu bên trong dự đoán (không phân biệt chữ hoa chữ thường, cả hai đều được loại bỏ khoảng trắng), nếu không thì0.0. Tốt cho các kiểm tra kiểu "đáp án có đề cập đến ý chính không?" nơi mà các từ thừa là ổn.token_f1(pred, gold)-> một điểm partial-credit trong[0.0, 1.0]dựa trên sự trùng lặp từ ngữ, công cụ chính cho các câu trả lời tự do nơi một câu trả lời gần đúng nên thắng một câu trả lời sai hoàn toàn.
Cách token F1 hoạt động. Chuyển về chữ thường và chia cả hai chuỗi thành các token từ. Đếm số lượng token chung, có tính đến các từ lặp lại (coi danh sách token như các tập đa trị, vì vậy collections.Counter và & giao của nó là bạn đồng hành của bạn). Sau đó:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)Ví dụ thực tế: pred="the quick brown fox", gold="the lazy brown dog". Chúng chia sẻ the và brown -> overlap là 2. Precision là 2/4, recall là 2/4, nên F1 là 0.5. Lưu ý các trường hợp biên: nếu một trong hai bên có không có token nào, hoặc overlap bằng không, F1 là 0.0 (không bao giờ chia cho không).
Cuối cùng là runner biến một scorer thành một evaluation:
run_suite(predictions, golds, scorer)-> tính điểm cho mỗi cặp(pred, gold)bằng hàmscorerđã cho và trả về{"score": mean_score, "per_case": [list of each case's score]}. Giá trị trung bình trên một bộ trống là0.0.
Việc truyền scorer in (thay vì viết cứng nó) là thiết kế cho phép tận dụng cả các bộ phân loại khớp chính xác và các câu trả lời văn bản tự do. Nhấn Run để chấm điểm một tập gold nhỏ theo ba cách khác nhau.
Xây dựng lõi tính điểm của một bộ khung đánh giá prompt. Viết score_exact(pred, gold) (1.0 nếu khớp chính xác sau khi loại bỏ khoảng trắng nếu không thì 0.0), score_contains(pred, gold) (1.0 nếu gold đã loại bỏ khoảng trắng và viết thường là chuỗi con của prediction nếu không thì 0.0), và token_f1(pred, gold) (F1 của token-overlap trên các từ đã viết thường, 0.0 khi một trong hai bên trống hoặc không có phần trùng lặp). Sau đó viết run_suite(predictions, golds, scorer) trả về {"score": mean, "per_case": [scores]} (mean 0.0 trên một suite trống).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.