Chương trình học Bài 129 trên tổng số 250 · Kỹ thuật prompt cho kỹ sư AI
Kỹ thuật prompt cho kỹ sư AI

Tự nhất quán: Lấy mẫu, phân tích, bỏ phiếu

Một mẫu duy nhất của mô hình có thể sai do may rủi. Tự nhất quán (self-consistency) lấy vài mẫu cho cùng một câu hỏi, phân tích một câu trả lời từ mỗi mẫu, và để chúng bỏ phiếu. Câu trả lời đa số thường đáng tin hơn bất kỳ lần chạy đơn lẻ nào. Việc lấy mẫu là việc của mô hình; phân tích và bỏ phiếu là của bạn, và nó hoàn toàn tất định.

Xây hai hàm:

  • extract_answer(text) trả về số nguyên CUỐI CÙNG được nhắc tới trong văn bản (con số cuối cùng của mô hình sau khi suy luận), hoặc None nếu không có số nguyên nào. Tìm các số nguyên bằng một regex trên chuỗi.
  • self_consistency(samples) nhận một list các chuỗi mẫu, trích một câu trả lời từ mỗi cái, bỏ những cái phân tích ra None, và trả về giá trị đa số qua một Counter. Phá hòa nghiêng về giá trị nhỏ nhất để kết quả tất định.

Ví dụ, với các mẫu phân tích ra [4, 4, 5], phiếu bầu trả về 4. Với [3, 5] (hòa 1-1), nó trả về 3, giá trị nhỏ hơn. Các mẫu không phân tích được đơn giản là bị bỏ qua:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

Việc phá hòa tất định là quan trọng: một bài đánh giá trả về một người thắng khác nhau mỗi lần chạy khi phiếu hòa thì không kiểm thử được và không đưa vào vận hành được. Nhấn Chạy để chấm điểm.

Đến lượt bạn

Viết extract_answer(text) trả về số nguyên cuối cùng trong văn bản (xử lý cả dấu trừ ở đầu), hoặc None nếu không có. Viết self_consistency(samples) trích một câu trả lời từ mỗi mẫu, bỏ các kết quả None, và trả về giá trị đa số bằng một Counter, phá hòa nghiêng về giá trị nhỏ nhất. Khi không có câu trả lời nào phân tích được, trả về None.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.